Multivarate Adaptive Regression Splines MARS

Untuk kurva B – Spline kuadratik dengan 2 titik knot, misalnya pada t = 3 dan t = 7 dapat dicari dengan cara yang serupa, dengan hasil sebagai berikut :          ≤ ≤       − ≤ − − = − 10 7 , 7 3 , 24 7 3 1 , 12 3 13 1 2 3 , 1 t t t t t t t B Dengan cara yang serupa, dapat dibuat kurva B – Spline dengan berbagai m dan beberapa titik knots.

2.4 Multivarate Adaptive Regression Splines MARS

Spline adalah salah satu jenis potongan polynomial, yaitu polynomial yang memiliki sifat tersegmen. Sifat tersegmen ini memberikan fleksibilitas lebih dari polynomial biasa, sehingga memungkinkan untuk menyesuaikan diri secara lebih efektif terhadap karakteristik lokal dari suatu fungsi atau data. Secara umum, fungsi spline berorde k adalah sembarang fungsi yang dinyatakan sebagai berikut : ∑ ∑ = − + − = − + = h j k j j k i i i u t t t S 1 1 1 δ α dengan,     − = − − − + 1 1 k j k j u t u t j j u t u t ≥ , , 8 dengan : α dan δ adalah konstanta riil u j ,…,u h adalah titik – titik knot. Maka fungsi spline diatas menunjukkan fungsi S merupakan potongan polynomial berorde k pada subinterval [u j ,u j+1 ], memiliki turunan kontinu tingkat k-2, S k-1 merupakan fungsi tangga Universitas Sumatera Utara dengan titik – titik lompatan u 1 ,..,u h , dan fungsi S adalah suatu polynomial dengan orde m di luar [u 1 ,u n ]. Recursive Partitioing Regression RPR merupakan pendekatan dari fungsi ft yang tidak diketahui dengan : ∑ = ∧ = S j j j t B t c t f 1 9 dengan, B j t =I[t ฀ R j ],I[.] menunjukkan fungsi indicator yang mempunyai nilai 1 satu jika pernyataan benar t ฀ R j dan 0 nol jika salah, c j t merupakan koefisien konstanta yang ditentukan dalam subregion. Penentuan knots pada regresi dummy atau regresi kategori dilakukan secara manual, karena memiliki dimensi data yang rendah dan hal ini tidak akan mengalami kesulitan, sedangkan untuk data yang berdimensi tinggi terdapat kesulitan. Untuk mengatasi hal tersebut digunakan model Recursive Partitiion Regression karena penentuan knots tergantung otomatis dari data. Namun demikian model ini masih terdapat kelemahan yaitu model yang dihasilkan tidak kontinu pada knots, dan untu mengatasinya digunakan model MARS. Model MARS selain penentuan knots yang dilakukan secara otamatis dari data, juga menghasilkan model yang kontinu pada knots. Pemilihan knots pada MARS menggunakan algoritma forward stepwise dan backward stepwise yang salah satunya didasarkan nilai Generalized Cross Validation GCV minimum. Model MARS dapat ditulis, yaitu : [ ] ∏ ∑ = = ∧ − + = m K k km m k v km M m m u t s a a t f 1 , 1 . 10 dengan : α = basis fungsi induk α m = koefisien dari basis fungsi ke – m Universitas Sumatera Utara M = maksimum basis fungsi nonconstant basis fungsi K m = derajat interaksi S km = nilainya ± 1 t vk,m = variabel independen u km = nilai knots dari variabel independen t vk,m Penjabaran dari persamaan 10 dapat disajikan sebagai berikut : ∑ = ∧ − + = M m m m v m m u t s t f 1 1 , 1 1 ] . [ α α ∑ = − − + M m m m v m m m v m m u t s u t s a 1 2 , 2 2 1 , 1 1 ] . ][ . [ ] . [ ] . ][ . [ 3 , 3 3 1 2 , 2 2 1 , 1 1 m m v m M m m m v m m m v m m u t s u t s u t s − − − + ∑ = α  + 11 dan secara umum persamaan 10 dapat dituliskan sebagai berikut :  + + + + = ∑ ∑ ∑ = = = ∧ 3 2 1 , , , m m m K k j i ijk K j i ij K i i t t t f t t f t f t f α 12 Persamaan 12, memperlihatkan bahwa penjumlahan pertama meliputi semua basis fungsi untuk satu variabel, penjumlahan kedua meliputi semua basis fungsi untuk interaksi antara dua variabel, penjumlahan ketiga meliputi semua basis fungsi untuk interaksi antara tiga variabel dan seterusnya. Misalkan T K w w w } { κ Λ = Λ adalah himpunana dari variabel yang dihubungkan dengan basis fungsi B m ke-m, maka setiap penjumlahan pertama dan persamaan 12 diatas dapat dinyatakan sebagai berikut : Universitas Sumatera Utara ∑ = = 1 m K i m m i i t t f β α 13 f i t i merupakan penjumlahan semua basis fungsi untuk satu variabel x i dan merupakan spline dengan derajat q=1 yang memrepresentasikan fungsi univariat. Setiap fungsi bivariat pada persamaan 12 dapat ditulis sebagai berikut : ∑ = = 2 , , Km j i m m j i ij t t t t f β α 14 yang merepresentasikan penjumlahan semua basis fungsi dua variabel t i dan t j . Penambahan ini untuk menghubungkan kontribusi univariat, yang dituliskan sebagai berikut : , , j i ij j j i i j i ij t t f t f t f t t f + + = 15 Untuk fungsi trivariat pada penjumlahan yang ketiga diperoleh dengan menjumlahkan semua basis fungsi untuk tiga variabel, yang dituliskan sebagai berikut : ∑ = = 3 , , , , Km k j i m m k j i ij t t t t t t f β α 16 Penambahan fungsi univariate dan bivarate mempunyai kontribusi dalam bentuk : , , , , , , , k j i ijk k j jk k i ik j i ij k k j j i i k j i ij t t t f t t f t t f t t f t f t f t f t t t f + + + + + + = 17 Persamaan 12 merupakan dekomposisi dari analisis varians untuk tabel kontigensi, yang dikenal dengan dekomposisi anova dari model MARS. Interprestasi model MARS melalui dekomposisi anova adalah merepresentasikan variabel yang masuk dalam model, baik untuk satu variabel maupun interaksi antara variabel. Penambahan aditif pada persamaan 13 dapat dtunjukkan dengan membuat plot antara f i t i dengan t i sebagai salah satu model aditif. Kontribusi interaksi antara dua variabel dapat divisualisasikan dengan membuat plot antara , j i ij t t f dengan t i dan t j menggunakan kontur plot. Model dengan interkasi yang lebih tinggi Universitas Sumatera Utara dalam variansi dapat dibuang dengan menggunakan plot dalam beberapa variabel fixed dengan variabel komplemen. Pada model MARS, pemilihan model menggunaan metode stepwise yang terdiri dari forward dan backward. Forward stepwise dilakukan untuk mendapatkan jumlah basis fungsi maksimum dan kriteria pemilihan basis fungsi adalah meminimumkan average sum of square residual ASR. Untuk memenuhi kosep parsemoni dari forward stepwise dengan meminimumkan nilai generalized cross-validation GCV. Friedman and Silverman, 1989, Friedman, 1990, 1991.

2.5 Memilih Persamaan Regresi Terbaik