25
terdapat konstanta. Setelah komponen hasil PCA yang bebas multikolinearitas diperoleh maka komponen-komponen tersebut
diregresikan atau dianalisa pengaruhnya terhadap variabel tak bebas Y dengan menggunakan analisis regresi linear.
2.9. Metode Regresi Ridge
Salah satu cara lain untuk menghilangkan multikolinearitas adalah dengan menghilangkan variabel-variabel bebas dari model dengan
didasarkan pada nilai koefisien ganda tertinggi. Namun penghapusan
variabel bebas ini juga tidak akan memberikan solusi yang memuaskan jika variabel bebas yang dikeluarkan dari model mempunyai pengaruh
yang relatif signifikan terhadap variabel tak bebas, karena dapat merusak kekuatan prediksi dari model. Suatu cara untuk menghadapi masalah ini
adalah meninggalkan metode kuadrat kecil yang biasa dan menggunakan cara penaksiran bias. Dalam menggunakan estimator yang bias ini pada
prinsipnya adalah menerima bias tertentu dalam estimator agar variansi dari estimator dapat diperkecil. Sejumlah prosedur estimasi bias telah
dikembangkan untuk memperoleh estimasi kofisien regresi. Salah satunya adalah Metode Regresi Ridge.
Metode Regresi Ridge digunakan untuk mengurangi dampak multikolinearitas dengan cara menentukan penduga yang bias tetapi
cenderung mempunyai jumlah kuadrat residual yang lebih kecil daripada taksiran yang diperoleh dengan kuadrat terkecil. Estimasi regresi ridge
26
stabil, dengan pengertian bahwa tidak dipengaruhi oleh adanya variansi yang lebih kecil dalam penaksiran data karena sifat rata-rata kuadrat
residual yang lebih kecil maka diharapkan lebih dekat pada nilai-nilai koefisien regresi yang sebenarnya dari taksiran kuadrat terkecil.
Metode Regresi Ridge ini didasarkan pada modifikasi metode kuadrat terkecil, yakni dengan menambahkan suku pada
sebelum diinverskan sehingga menyebabkan melemahnya multikolinearitas.
Estimator ridge didefinisikan sebagai berikut:
atau 2.18
Dimana adalah suatu konstan parameter bias yang
dipilih sedemikian sehingga nilai stabil. Jika
maka estimator ridge sama dengan estimator kuadrat terkecil.
Hubungan estimator regresi ridge dengan estimator kuadrat terkecil:
; Oleh karena itu selama
, adalah estimator
yang bias bagi . Matriks varian-cov dari
adalah Var-cov
27
Sehingga varians adalah:
Mean Square Error MSE untuk estimator ridge adalah:
2.19 Jika
Maka 2.20
Jika
Maka 2.21
28
Bila persamaan 2.20 dan 2.21 disubstitusikan dalam persamaan 2.19, maka diperoleh
= varian + bias dalam
2
Dimana adalah nilai-nilai eigen dari
. Suku pertama pada ruas kanan adalah jumlahan variansi
dan suku kedua merupakan kuadrat bias. Jelas bahwa untuk
jika nilai bertambah, maka variansi akan mengecil dan kuadrat bias akan membesar. Penentuan nilai
dilakukan sedemikian sehingga penurunan jumlah variansi lebih besar dari kenaikan kuadrat bias. Jika hal ini dapat dilakukan MSE dari estimator
ridge akan lebih kecil dari variansi estimator kuadrat terkecil .
Metode Pemilihan
Penambahan konstanta mengakibatkan nilai-nilai elemen
diagonal matriks menjadi kecil sehingga rata-rata kuadrat
residualnya menjadi kecil. Hal ini menunjukkan bahwa taksiran koefisien regresi menjadi lebih stabil.
29
Untuk pemilihan nilai konstan yang tepat dapat digunakan metode iterasi yang diperoleh dengan cara meminimumkan rata-rata
kuadrat residual.
2.22
Nilai minimum diperoleh jika Sehingga diperoleh:
2.23 2.24
30
Syarat perlu dan cukup agar rata-rata kuadrat residual mempunyai nilai minimum adalah
.
Sehingga berdasarkan persamaan 2.22 diperoleh
2.25 Penyebut pada persamaan di atas akan selalu mempunyai nilai yang
positif, maka persamaan di atas dapat ditulis sebagai:
2.26 Karena
maka persamaan 2.23 akan selalu mempunyai nilai yang positif sehingga diperoleh
. 2.27
Karena maka persamaan 2.23 dapat ditulis sebagai
2.28 Dengan
dan ditaksir dengan dan yang diperoleh melalui
metode kuadrat terkecil.
31
BAB III METODOLOGI PENELITIAN
Metode penelitian merupakan suatu cara yang digunakan dalam rangka penelitian sehingga pelaksanaan penelitian dapat
dipertanggungjawabkan secara ilmiah. Dengan metode penelitian, data yang diperoleh semakin lengkap untuk memecahkan masalah yang dihadapi.
Metode penelitian yang digunakan dalam penulisan ini adalah metode kajian pustaka dengan tahap-tahap sebagai berikut.
3.1. Penemuan Masalah
Penemuan masalah dimulai dari studi pustaka. Studi pustaka
merupakan penelaahan sumber-sumber pustaka yang relevan dan digunakan untuk mengumpulkan informasi yang diperlukan dalam
penulisan ini. Setelah sumber pustaka terkumpul dilanjutkan dengan penelaahan isi sumber pustaka tersebut. Dari penelaahan yang dilakukan,
muncul suatu ide yang kemudian dijadikan sebagai landasan untuk penulisan ini. Permasalahan yang muncul adalah tentang adanya
multikolinearitas dalam analisis regresi ganda.
3.2. Kajian Pustaka
Pada tahap ini dilakukan kajian pustaka, yaitu mengkaji permasalahan secara teoritis berdasarkan sumber-sumber pustaka yang
relevan dan mengumpulkan data atau informasi dari berbagai sumber
