Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
Y X
cI X
X
T T
= +
β β
ˆ ˆ
Y X
cI X
X
T T
= +
β
ˆ
Y X
cI X
X c
T T
1
ˆ
−
+ =
β
Sifat dari estimator Ridge adalah : 1.
Bias Y
X cI
X X
c E
T T
1
ˆ
−
+ =
β dengan
β
ˆ X
Y =
βˆ
1
X X
cI X
X
T T
−
+ =
2. Variansi Minimum
[ ]
[ ]
T T
T T
T
X cI
X X
X cI
X X
c Var
∑
+ +
=
−1
ˆ β
1 2
1 −
−
+ +
= cI
X X
IX X
cI X
X
T T
T
σ
1 1
2 −
−
+ +
= cI
X X
X X
cI X
X
T T
T
σ Sehingga nilai VIF
merupakan diagonal utama dari matriks
1 1
− −
+ +
cI X
X X
X cI
X X
T T
T
.
3.2 Ridge Trace
Ridge Trace merupakan plot dari estimator regresi Ridge secara bersama dengan berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan jumlah bias
dalam estimator
c
β
ˆ
. Bila c = 0 maka estimator
c
β
ˆ
akan bernilai sama dengan estimator kuadrat terkecil
β . Bila c 0, koefisien estimator Ridge akan bias terhadap parameter
β , tetapi cenderung lebih stabil dari pada estimator kuadrat terkecil. Umumnya nilai c terletak pada inverval 0c1.
Pemilihan besarnya tetapan bias c merupakan masalah yang perlu diperhatikan. Tetapan bias yang diinginkan adalah tetapan bias yang menghasilkan
relatif kecil dan menghasilkan koefisien estimator yang relatif stabil.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
Suatu acuan yang digunakan untuk memilih besarnya c, dengan melihat besarnya VIF dan melihat pola kecenderungan Ridge Trace. VIF merupakan faktor
yang mengukur seberapa besar kenaikan variansi dari koefisien estimator
k
βˆ dibandingkan terhadap variabel bebas lain yang saling ortogonal. Bila diantara
variabel bebas tersebut terdapat korelasi yang tinggi, nilai VIF akan besar. VIF memiliki nilai mendekati 1 jika variabel bebas X tidak saling berkorelasi dengan
variabel-variabel bebas lainnya. Determinan dari X
T
X dapat digunakan sebagai indeks dari multikolinieritas. Nilai determinannya yaitu
1 ≤
≤ X
X
T
. Jika X
T
X = 1 maka terdapat hubungan yang orthogonal antara variabel bebasnya. Jika
= X
X
T
terdapat hubungan yang linier diantara variabel-variabel bebasnya. Dengan kata lain bahwa tingkat multikolinieritas
dilihat dari
X X
T
mendekati 0. Oleh karena itu nilai VIF untuk koefisien regresi
c
β
ˆ
didefinisikan sebagai diagonal utama dari matriks
1 1
− −
+ +
cI X
X X
X cI
X X
T T
T
, maka sama halnya dengan uraian diatas bahwa
1
1 1
= +
+
− −
cI X
X X
X cI
X X
T T
T
Contoh Kasus : Untuk memperjelas penggunaan Regresi Ridge dalam mengatasi multikolinieritas
pada variabel-variabel bebas, berikut ini akan dibahas suatu contoh kasus yang memiliki multikolinieritas diantara variabel-variabel bebasnya. Data yang akan
dibahas adalah data yang tertera dalam tabel berikut :
Tabel 3.1 Tabel barang import dan faktor – faktor yang mempengaruhinya
Tahun Y
X1 X2
X3 1949
15,9 149,3
4,2 108,1
1950 16,4
161,2 4,1
114,8 1951
19,0 171,5
3,1 123,2
1952 19,1
175,5 3,1
126,9 1953
18,8 180,8
1,1 132,1
1954 20,4
190,7 2,2
137,7 1955
22,7 202,1
2,1 146,0
1956 26,5
212,4 5,6
154,1
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
1957 28,1
226,1 5,0
162,3 1958
27,6 231,9
5,1 164,3
1959 26,3
239,0 0,7
167,6 1960
31,1 258,0
5,6 176,8
1961 33,3
269,8 3,9
186,6 1962
37,0 288,4
3,1 199,7
1963 43,3
304,5 4,6
213,9 1964
49,3 323,4
7,0 223,8
1965 50,3
336,8 1,2
232,0 1966
56,6 353,9
4,5 242,9
Sumber : Chatterjee Samprit and Price Bertram 1977. Keterangan :
Y = barang import miliard Franc Prancis X1 = barang yang dipesan miliard Franc Prancis
X2 = persediaan barang miliard Franc Prancis X3 = barang yang dikonsumsi miliard Franc Prancis
Akan dibuat suatu model yang sesuai dan diperiksa apakah terdapat multikolinieritas diantara variabel bebas Xi. Analisa regresi dengan metode kuadrat
terkecil pers. 2.15 terhadap data menghasilkan nilai estimator parameter Tabel 3.2 dengan daftar anava Tabel 3.3
Tabel 3.2 Estimator Parameter Regresi Kuadrat Terkecil
Peubah Penduga Parameter
Simpangan Baku Konstan
-15,687 3,808
X1 0,113
0,169 X2
-1,288 0,525
X3 0,155
0,256
Tabel 3.3 Tabel Anava Untuk Data Awal
Sumber Variansi
Jumlah Kuadrat
DK RJK
F
hitung
Regresi 256,8295
3 856,098
220,794 Sisa
54,283 14
3,877 Total
262,2578 17
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
Dari data diatas diperoleh persamaan regresi linier berganda seperti pada persamaan 2.11 yaitu :
3 2
1
155 ,
288 ,
1 113
, 687
, 15
ˆ X
X X
y +
− +
− =
Untuk pendeteksian multikolinieritas ada beberapa cara yang dapat digunakan antara lain :
1. Faktor Variansi Inflasi Variance Inflation Factor, VIF
− −
− −
=
−
939 ,
468 7234
, 5969
, 468
7234 ,
0499 ,
1 9488
, 5969
, 468
9488 ,
3032 ,
469
1
X X
T
Dari data diatas ada 2 faktor variansi inflasi yang melebihi 10, ini merupakan sebuah indikator yang baik bahwa multikolinieritas ada.
1. Koefisien Korelasi Parsial
Untuk memperoleh koefisien korelasi parsial antara X
j
dan X
h
dihitung dengan menggunakan persamaan 2.4 maka diperoleh :
1 1
X X
r
= 1
2 1
X X
r
= 0,215
2 2
X X
r
= 1
3 1
X X
r
= 0,999
3 2
X X
r
= 0,214
3 3
X X
r
= 1 Sehingga korelasi parsial antara X
j
X
h
dapat dibuat dalam bentuk matriks korelasi C sebagai berikut :
= 1
214 ,
999 ,
214 ,
1 215
, 999
, 215
, 1
C
Dari matriks C terlihat bahwa korelasi antara variabel bebas X
1
dan X
3
sangat tinggi sehingga mendekati 1. Ini menunjukkan bahwa adanya multikolinieritas antara
variabel bebasnya.
2. Determinan Matriks Korelasi
Dari matriks korelasi C dapat dihitung determinannya, yaitu :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
= 1
214 ,
999 ,
214 ,
1 215
, 999
, 215
, 1
C
0019 ,
= C
Nilai determinan dari matriks korelasi C mendekati 0, ini menunjukkan bahwa tingkat multikolinieritasnya tinggi.
3.3 Pemodelan Regresi Ridge
