Generalized Cross Validation GCV Algoritma MARS

dengan perilaku data. Gambaran secara umum algoritma MARS adalah sebagai berikut Friedman, 1991. 1. Forward Stepwise Pada model MARS, pemilihan model menggunaan metode stepwise yang terdiri dari forward dan backward. Forward stepwise dilakukan untuk mendapatkan jumlah fungsi basis maksimum dan kriteria pemilihan fungsi basis adalah meminimumkan Average Sum of Square Residual ASR. Untuk memenuhi konsep parsemoni dari forward stepwise dengan meminimumkan nilai Generalized Cross- Validation GCV Friedman, 1991. Pada tahap ini dimungkinkan untuk memasukkan fungsi basis baru ke dalam model. Maksimal fungsi basis yang akan masuk di dalam model ditentukan oleh peneliti. Berikut adalah langkah yang dilakukan dalam forward stepwise. a. Misalkan = sebagai fungsi basis awal. b. Tentukan pasangan fungsi basis dan yang merupakan kombinasi prediktor dan knot sehingga model memiliki jumlah kuadrat sisaan minimum. c. Misalkan adalah salah satu fungsi basis yang sudah ada didalam model sebelumnya. Jika fungsi basis telah dimasukkan, tentukan perkalian dari dengan atau sehingga jika dan ditambahkan ke dalam model maka akan dihasilkan model dengan jumlah kuadrat sisaan terkecil. d. Ulangi langkah c sehingga banyaknya fungsi basis dalam model lebih atau sama dengan maksimum banyaknya fungsi basis yang telah ditetapkan. 2. Backward Stepwise Prosedur forward seperti yang dijelaskan sebelumnya akan menghasilkan model dengan fungsi basis dengan jumlah yang sangat banyak. Dalam prakteknya, biasanya maksimum banyaknya fungsi basis yang akan digunakan dalam model dibatasi. Demikian juga dengan derajat interaksi, yang seringkali hanya dibatasi hanya sampai derajat tiga. Dengan pembatasan tersebut, prosedur forward tersebut tetap memberikan model dengan fungsi basis yang sangat banyak. Terkait dengan model yang kompleks ini, harus dilakukan penghapusan beberapa fungsi basis, sehingga dapat dihasilkan model yang lebih sederhana. Prosedur backward dilakukan untuk tujuan ini. Prosedur backward dilakukan dengan tahap-tahap berikut. a. Mulai dari model yang diperoleh pada tahap prosedur forward yang memiliki m fungsi basis. b. Hapus salah satu fungsi basis tidak konstan yang memiliki kontribusi terkecil. Berdasarkan kriteria kuadrat terkecil, fungsi basis yang memiliki kontribusi terkecil adalah fungsi basis yang jika dihilangkan dari model sebelumnya akan menyebabkan terjadinya penurunan jumlah kuadrat sisaan terkecil. c. Ulangi langkah b, sampai model hanya mengandung fungsi basis konstan. Model MARS menentukan knot secara otomatis oleh data dan menghasilkan model yang kontinu pada knot. Penentuan knot pada MARS menggunakan algoritma forward stepwise dan backward stepwise. Pemilihan model dengan menggunakan forward stepwise dilakukan untuk mendapatkan jumlah fungsi basis dengan kriteria pemilihan fungsi basis adalah meminimumkan Average Sum of Square Residual ASR. Untuk memenuhi konsep parsimoni model yang sederhana dilakukan backward stepwise yaitu membuang fungsi basis yang memiliki kontribusi kecil terhadap respon dari forward stepwise dengan meminimumkan nilai Generalized Cross Validation GCV. Pada MARS, beberapa hal yang perlu diperhatikan dalam pemilihan model yang paling optimum terbaik adalah jika nilai GCV dari model tersebut mempunyai nilai yang paling rendah minimum diantara model-model yang lain. Fungsi GCV minimum didefinisikan sebagai berikut. = [ − ̂ ] = ∑ [ − ̂ ] = [ − ̂ ] dengan : : variabel respon ̂ : nilai taksiran variabel respon pada M fungsi basis : banyaknya pengamatan ̂ : + : Trace [ − ] + : nilai ketika setiap fungsi basis mencapai optimasi = [ Π = , − Π = , − ⋱ Π = , − Π = , − ]

2.8 Pemilihan Model MARS Terbaik

Pemodelan MARS, pemilihan model digunakan metode stepwise. Forward stepwise dilakukan untuk mendapatkan fungsi dengan jumlah fungsi basis maksimum. Kriteria pemilihan fungsi basis pada forward adalah dengan meminimumkan Average Square Residual ASR. Untuk memenuhi konsep parsemoni model sederhana dilakukan backward stepwise yaitu memilih fungsi basis yang dihasilkan dari forward stepwise dengan meminimumkan nilai Generalized Cross-Validation GCV. Model terbaik MARS dapat dilihat dari kriteria GCV terkecil, apabila memiliki nilai GCV terkecil yang sama dapat dilihat dengan pertimbangan nilai MSE terkecil, dan apabila masih memiliki nilai MSE yang sama maka dapat dilihat dengan pertimbangan nilai terbesar. Untuk memperoleh matriks Hat diperlukan Teorema berikut. Teorema 2.1 Apabila R matriks Kuadratik dengan − − = ∗ ∗ dan − adalah faktor cholesky dari ∗ ∗ . Misalkan U dan Q matriks Diagonal sedemikian hingga − = . Selanjutnya = ∗ maka = ∗ dan misalkan �̂ = − = − ̂ maka penyelesaian �̂ adalah + �̂ = = ∗ Selanjutnya ∗ ̂ = �̂ dan matriks Hat, = + − dengan derajat bebas, [ ] = { + − } = { + − } = ∑ + − dimana adalah matriks Diagonal ke- dari . Bukti : ∗ ∗ + = − − + = − − + − − = − + − = − + − dan juga, ∗ ∗ + = + .