15
F. Metode Kuadrat Terkecil
Least Square Method
Berikut ini adalah gambar persamaan regresi yang sebenarnya dan persamaan regresi taksiran.
Keterangan : Persamaan regresi sebenarnya dinyatakan dengan
i i
X Y
β α +
= Persamaan regresi dugaan dinyatakan dengan
i i
X Y
β α
ˆ ˆ
ˆ +
=
AA’ adalah garis regresi sebenarnya BB’ adalah garis regresi dugaan
Titik P merupakan salah satu titik dari pengamatan data sampel
i
e taksiran dari faktor gangguan
i
ε
Metode kuadrat terkecil adalah metode yang digunakan untuk menaksir β . Prinsip dasar metode kuadrat terkecil adalah meminimumkan jumlah kuadrat
galat yaitu meminimumkan
2 i
e ∑
Suryanto, 1998: 140. Untuk mendapatkan penaksir-penaksir bagi
β , ditentukan dua vektor βˆ dan
e
sebagai berikut :
i
e
i
ε
i
Yˆ
B A
A’
i i
X Y
β α +
=
i
Y B’
Y P
i
X
X
i i
X Y
β α
ˆ ˆ
ˆ +
=
16
k 1
β β
β β
ˆ ˆ
ˆ ˆ
M =
dan
n 2
1
e e
e e
M =
Persamaan hasil estimasi dapat ditulis :
e β
X Y
+ = ˆ
β X
Y e
ˆ −
=
7 .
2
sehingga
β X
X β
Y X
β β
X Y
Y Y
β X
Y X
β Y
β X
Y β
X Y
β X
Y β
X Y
e e
ˆ ˆ
ˆ ˆ
ˆ ˆ
ˆ ˆ
ˆ ˆ
+ −
− =
− −
= −
− =
− −
=
β X
X β
Y X
β 2
Y Y
e e
ˆ ˆ
ˆ +
− =
8 .
2
Untuk meminimumkan
e e
, dapat diperoleh dengan menurunkan secara parsial terhadap
βˆ serta menyamakan turunan dengan 0.
Y X
β X
X β
X X
Y X
e e
β β
= =
+ −
= ∂
∂ =
∂ ∂
∑ ∑
= =
ˆ ˆ
2 2
ˆ ˆ
1 1
2
n i
n i
i
e
17
Selanjutnya kalikan kedua ruas dengan
1 −
X X
diperoleh
X X
X β
I Y
X X
X β
X X
X X
Y X
β X
X
1 1
1
− −
−
= =
=
ˆ ˆ
ˆ
Y X
X X
β
1
−
= ˆ
9 .
2
dengan
X : transpose dari matrik X
βˆ
: penaksir koefisien regresi Menurut Sumodiningrat, 1995: 188 untuk menguji sifat-sifat taksiran parameter
digunakan asumsi sebagai berikut : 1.
= ε
E
2.
[ ]
I E
2
σ
= ε
ε
Bukti :
n
ε ε
ε ε
M
2 1
=
dan
n
ε ε
ε ε
K
2 1
=
2 2
1 2
2 2
1 2
1 2
1 2
1
n n
n n
n
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε
K M
M M
K K
=
18
[ ]
[ ]
[ ] [ ]
[ ]
[ ]
[ ] [ ] [ ]
[ ]
2 2
2
σ σ
σ
K M
M M
K K
K M
M M
K K
= =
2 n
2 n
1 n
n 2
2 2
1 2
n 1
2 1
2 1
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε
E E
E E
E E
E E
E E
[ ]
2
σ =
2 i
ε
E dan
[ ]
=
j i
ε ε
E
j i
≠
[ ]
I E
2 2
1 1
1 σ
σ =
= =
K M
M M
K K
ε ε
Apabila asumsi-asumsi sudah dipenuhi maka estimasi yang diperoleh dengan metode kuadrat terkecil akan bersifat linear, tak bias, dan variansinya minimum
yang dikenal dengan sifat Best, Linear, Unbiased estimator BLUE. Sifat-sifat penaksir estimator dalam metode kuadrat terkecil adalah :
1. Linear Linearity
X ε
X X
β X
ε X
X I
β X
ε X
X X
β X
X X
ε X
β X
X X
Y X
X X
β
1 1
1 1
1 1
− −
− −
− −
+ =
+ =
+ =
+ =
= ˆ
Jadi,
βˆ merupakan fungsi linear dari
β dan ε .
19
2. Tak bias Unbiasedness
Sifat tak bias berarti nilai harapan dari estimator yaitu
β β
= ]
ˆ [
E .
[ ]
[ ]
[ ]
ε X
X X
β ε
X X
X β
ε] X
X X
[ β
β
1 1
1
E E
E E
E
− −
−
+ =
+ =
+ =
] ˆ
[
Karena
[ ]
= ε
E
maka
β β
ˆ ]
ˆ [
= E
Jadi,
βˆ merupakan penaksir tak bias.
3. Variansi minimum
Estimator variansi minimum adalah estimator dengan variansi terkecil di antara semua estimator untuk koefisien yang sama. Menurut Sudjana 1996 :
199 jika
1
ˆ β dan
2
βˆ merupakan dua estimator untuk
β dengan
2 1
ˆ ˆ
β β
Var Var
maka
1
ˆ
β merupakan estimator bervariansi minimum.
1
ˆ
β
Var dapat dicari sebagai berikut :
{ }
{ }
[ ]
[ ]
1 1
1 1
1 1
1 1
1
X X
X X
X X
X X
X X
X I
X X
X X
X X
ε ε
X X
X ε
X X
X ε
X X
X β
β β
β β
β β
− −
− −
− −
− −
−
= =
= =
= ⎥⎦
⎤ ⎢⎣
⎡ −
− =
⎥⎦ ⎤
⎢⎣ ⎡ −
=
2 2
2 1
1 2
1 1
ˆ ˆ
ˆ ˆ
ε ε
ε
σ σ
σ E
E E
E Var
Akan ditunjukkan bahwa
2 1
ˆ ˆ
β β
Var Var
≤
20
Misalkan
[ ]
Y B
X X
β
1 2
+ =
−
ˆ dengan
2
βˆ : penaksir alternatif yang linear dan tak bias bagi
β
B : matriks konstanta yang diketahui
[ ]
[ ]
[ ]
[ ]
[ ]
ˆ ˆ
= +
= +
+ +
= +
+ +
= +
+ +
= +
+ =
+ =
− −
− −
− −
ε B
X B
β ε
B X
β B
ε X
X X
X β
X X
X ε
X β
B ε
X β
X X
X β
ε X
β B
ε X
β X
X X
ε X
β B
X X
X Y
B X
X X
β
1 1
1 2
1 1
1 2
E karena
E E
E
Oleh karena diasumsikan
2
βˆ merupakan estimator tak bias untuk
β maka
[ ]
β β
2
= ˆ
E atau dengan kata lain
B X
B merupakan matriks 0.
Variansi dari penaksir alternatif tersebut dapat dicari sebagai berikut :
[ ]
{ }
[ ]
{ }
[ ]
[ ]
{ }
[ ]
{ }
[ ]
{ }
[ {
}
]
{ }
{ }
[ ]
{ }
{ }
[ ]
{ }
{ }
[ ]
{ }
[ ]
{ }
{ }
{ }
{ }
{ }
karena karena
ˆ ˆ
ˆ ˆ
2 2
2
= +
= +
+ +
= +
+ =
+ +
= +
+ =
+ +
= =
+ +
= −
+ +
+ −
+ +
+ =
− +
+ −
+ +
= −
+ −
+ =
− −
= ⎥⎦
⎤ ⎢⎣
⎡ −
=
− −
− −
− −
− −
− −
− −
− −
− −
− −
− −
− −
−
X B
B B
X X
B B
B X
X X
X X
X B
X X
X X
X X
B X
X X
B X
X X
I B
X X
X ε
ε E
B X
X X
B X
X X
ε ε
B X
X X
B ε
X X
X ε
ε B
ε X
X X
X B
ε B
ε X
X X
ε B
ε X
X X
β B
ε β
X B
ε X
X X
β X
X X
X β
B ε
β X
B ε
X X
X β
X X
X X
β ε
β X
B X
X X
β ε
β X
B X
X X
β Y
B X
X X
β Y
B X
X X
β β
β β
β β
β
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 2
2 2
2 2
ε ε
ε
σ σ
σ E
E E
E E
E E
E Var
21
B B
σ X
X β
2 ε
1 2
+ =
− 2
ˆ
ε
σ
Var
Jadi,
2
β β
ˆ ˆ
1
Var Var
≤ sehingga terbukti memiliki variansi minimum.
G. Kesalahan Standar Estimasi