2.7 Metode Regresi Ridge
Salah satu metode yang dapat digunakan untuk menaksir parameter regresi dari model regresi linier berganda adalah Metode Kuadrat Terkecil. Dugaan parameter koefisien
regresi dengan Metode Kuadrat Terkecil yang dapat dibuat dalam bentuk matriks adalah :
Dengan membentuk menjadi bentuk matriks korelasi, maka kesalahan
yang disebabkan pengaruh pembulatan menjadi lebih kecil Draper Smith,1992. Terutama jika variabel regressornya lebih dari dua dan data yang ada besar. Jika
yang merupakan matriks korelasi adalah matriks identitas maka nilai dugaan variabel regressand akan sama dengan nilai sebenarnya. Apabila
tidak mendekati matriks identitas melainkan menjauhinya, maka dapat dikatakan
hampir singular buruk. Kondisi ini disebut sebagai ill conditioned Draper Smith ,1992. Kondisi ini terjadi
apabila terdapat korelasi antar variabel regressor yang cukup tinggi sehingga menyebabkan determinan
mendekati nol. Maka antara variabel regressor terjadi multikolinieritas ganda tidak sempurna.
Apabila terjadi situasi tersebut, penaksiran parameter koefisien regresi masih mungkin dilakukan dengan metode kuadrat terkecil, tetapi dengan konsekuensi
simpangan bakunya menjadi sangat sensitif sekalipun terjadi perubahan yang sangat kecil dalam datanya. Simpangan baku ini cenderung membesar sejalan dengan
meningkatnya multikolinieritas. Apabila terjadi multikolinieritas tidak sempurna pada variabel regressor pada
diagonal utama ditambah bilangan kecil positif yang bernilai antara 0 dan 1,
maka prosedur ini disebut Ridge Trace. Kemudian dengan mentransformasikan matriks
menjadi matriks korelasi sehingga dugaan koefisien regresi menjadi
:
dengan :
Universitas Sumatera Utara
= estimator Ridge regression θ
= Ridge parameter bilangan kecil positif terletak antara 0 dan 1 = matriks n x k yang merupakan hasil transformasi variabel regressor.
Sehingga nilai dugaan untuk variabel regressand menjadi :
Proses tersebut di atas disebut dengan Ridge regression. Analisis regresi Ridge dapat digunakan apabila
tidak singular. Asumsi yang digunakan hanyalah ada
dan tidak sulit mendapatkannya. Umumnya sifat dari penafsiran Ridge ini memiliki variansi yang minimum
sehingga diperoleh nilai VIF nya yang merupakan diagonal utama dari matriks :
Dari berbagai nilai yang ada, akan dipilih harga yang memberikan nilai VIF relatif dekat dengan 1.
Hubungan parameter ,
dalam model baru dengan parameter dalam model semula adalah :
2.7
Universitas Sumatera Utara
2.8 Uji Koefisien Korelasi Ganda