Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
i. Tidak ada korelasi serial autocorrelation antara penggangu
i
ε , berarti kovarian
j i
j i
≠ = ,
ε ε
j. Peubah bebas
n
x x
x ,
, ,
2 1
konstan dalam sampling yang terulang dan bebas
terhadap kesalahan pengganggu
i
ε . k.
Tidak ada multikoloniaritas diantara peubah bebas. l.
2
,
σ ε
N
i
≈
, artinya kesalahan pengganggu menyebar mengikuti distribusi normal dengan rata-rata 0 dan variansi
2
σ .
Pengabaian multikolinieritas dalam analisis regresi akan mengakibatkan penduga koefisien regresi linier ganda relatif tidak stabil atau kurang tepat. Salah satu
metode yang dapat digunakan mengatasi masalah multikolinieritas adalah dengan metode Regresi Ridge.
2.5 Penduga Parameter
Metode Kuadrat Terkecil
Metode kuadrat terkecil Ordinary Least Square, OLS merupakan salah satu metode untuk mengestimasi parameter pada regresi linier. Tujuan OLS adalah
meminimumkan jumlah kuadrat dari kesalahan error sum of square. Misalkan model yang akan diestimasi adalah parameter dari persamaan dengan :
i ki
k i
i i
X X
X Y
ε β
β β
β +
+ +
+ +
=
2 2
1 1
2.10
Penjabaran dari persamaan adalah :
n nk
k n
n n
k k
k k
X X
X y
X X
X y
X X
X y
ε β
β β
β ε
β β
β β
ε β
β β
β
+ +
+ +
+ =
+ +
+ +
+ =
+ +
+ +
+ =
2 2
1 1
2 2
22 2
21 1
2 1
1 12
2 11
1 1
Persamaan-persamaan diatas dapat ditulis dengan menggunakan persamaan matriks yaitu :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
ε β +
= X Y
2.11 Dengan
=
n
y y
y
2 1
Y
=
nk n
n k
k
X X
X X
X X
X X
X
2 1
2 22
21 1
12 11
1 1
1
X
=
k
β β
β β
1
=
n
ε ε
ε ε
2 1
Untuk mendapatkan penaksir-penaksir OLS bagi β , maka dengan asumsi
klasik ditentukan dua vektor β
ˆ
dan e sebagai :
=
k
β β
β β
ˆ ˆ
ˆ ˆ
2 1
=
n
e e
e e
2 1
Persamaan hasil estimasi dari persamaan 2.1.1 dapat ditulis sebagai :
e +
=
β
ˆ X
Y
atau β
ˆ X
Y e
− =
2.12
Karena tujuan OLS adalah meminimumkan jumlah kuadrat dari kesalahan, yaitu
=
∑
= k
i i
e
1 2
minimum maka :
2 2
2 2
1 1
2 k
k i
i
e e
e e
+ +
+ =
∑
=
[ ]
e e
e e
e e
e e
T k
k
=
=
2 1
2 1
2.13
jadi :
e e
e
T k
i i
=
∑
=1 2
β β
ˆ ˆ
X Y
X Y
T
− −
=
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
β β
β β
ˆ ˆ
ˆ ˆ
X X
X Y
Y X
Y Y
T T
T T
T T
+ −
− =
Oleh karena
Y X
T T
β
ˆ
adalah skalar, maka matriks transposenya adalah : β
β
ˆ ˆ
X Y
Y X
T T
T T
=
jadi, β
β β
ˆ ˆ
ˆ 2
X X
Y X
Y Y
e e
T T
T T
T T
+ −
=
2.14 Untuk menaksir parameter
β
ˆ
maka e
e
T
harus diminimumkan terhadap
T
β
ˆ
, maka : β
β β
ˆ ˆ
ˆ 2
1 2
X X
Y X
Y Y
e
T T
T T
T k
i i
+ −
=
∑
=
ˆ ˆ
ˆ 2
ˆ
1 2
= +
− =
∂ ∂
∑
=
β β
β β
X X
Y X
Y Y
e
T T
T T
T k
i i
T
ˆ 2
2 =
+ −
=
β
X X
Y X
T T
Atau
Y X
X X
T T
=
β
ˆ
Y X
X X
T T
1
ˆ
−
= β
dengan ketentuan det
≠ X
X
T
2.15
Penduga β
ˆ
merupakan penduga tak bias linier terbaik atau efisien bagi β
yaitu : 1.
β
ˆ
adalah penduga tak bias bagi β
Akan ditunjukkan bahwa β
ˆ
adalah penaksir linier tak bias dari β . Dari persamaan
2.11 diketahui : Y
X X
X
T T
1
ˆ
−
= β
ε β +
=
−
X X
X X
T T
1
ε β
T T
T T
X X
X X
X X
X
1 1
− −
+ =
ε β
T T
X X
X
1 −
+ =
2.16
Dengan I
X X
X X
T T
=
−1
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009.
USU Repository © 2009
[ ]
Y X
X X
E E
T T
1
ˆ
−
= β
β β
β β
= =
= =
=
− −
−
I X
X X
X X
X X
X Y
E X
X X
T T
T T
T T
1 1
1
2. Kovarian
2 1
ˆ σ
β
−
= X
X
T
Cov
−
− =
T
E E
E β
β β
β β
ˆ ˆ
ˆ ˆ
ˆ
[ ]
2 1
1 1
1 1
1 1
1 1
σ ε
ε εε
ε ε
β ε
β β
ε β
− −
− −
− −
− −
−
= =
=
=
− +
− +
=
X X
E X
X X
X X
X X
X X
X X
X E
X X
X X
X X
E X
X X
X X
X E
T T
T T
T T
T T
T T
T T
T T
T T
T T
T
2.6 Matriks Korelasi
