Least Square atau Kuadrat Terkecil
Least Square atau Kuadrat Terkecil
nMetode Least Square atau Metode Kuadrat Terkecil S
2 Y b b X ( 1 ) i 1 i
digunakan untuk mendapatkan penaksir koefi- b i
1 linier. Model regresi linier sederha- n sien regresi na dinyatakan dengan persamaan :
Y b b X i
1 i
i
1 n n n
1 Y = X + , model umum +
Y + + i =
1 X i i , model setiap pengamatan Y b b X i
1 i
i
1 i 1 i
1 Model dugaan dinyatakan oleh :
n n
ˆ ˆ ˆ
Y X atau Yˆ = b + b
1 X , model umum
1 i
1 Y n b b X i
i
1 i
1
ˆ ˆ ˆ
Y X atau Yˆ b + b
1 i i i n n pengamatan n b b X Y ...... ......... (
1 X i , model setiap
1 ) 1 i i
i
1 i
1
Didapatkan eror, yaitu atau sebagai berikut :
i
n
ˆ
Y Y = Y b b
X
S
1 2 Y b b X ( X ) i 1 i i
atau :
b 1 i
1 n
ˆ Y Y Y b b
X i i i i 1 i
Y b b X ( X ) i 1 i i
i
1 Secara geometrik, titik-titik hasil eksperimen, model n n n
2 dan error digambarkan pada grafik berikut ini :
Y X b X b X i i i 1 i
i 1 i 1 i
1
10
n n n
2
X b X i i i 1 i
9 X Y b
i 1 i 1 i
1
8
n n n
2
7
b X b X
X Y ........ (2) i 1 i i i
Y i 1 i 1 i
1
6 Persamaan (1) dan (2) dinamai persamaan normal.
5
iii. Menghitung b dan b
1 berdasarkan dua persama-
4
an yang terbentuk. Dari persamaan (1) didapat- kan formula b ,
3
n n
10
15
20
25
30
35
40
45 X
n b b X Y 1 i i
i 1 i
1 Titik-titik merah adalah nilai hasil eksperimen, di- n n notasikan Y i , yang diduga membentuk garis lurus
1
b =
Y b
X Y b
X i 1 i
1 berwarna biru. Garis inilah model yang akan di-
n i 1 i
1
taksir, dengan cara menaksir koefisiennya, yaitu b dan b
1 , sehingga terbentuk persamaan Yˆ b + b
i Formula b ini kemudian disubstitusikan ke Garis tegak lurus sumbu horisontal yang menghu- persamaan (2), bungkan titik eksperimen dengan garis lurus dugaan n n n dinamai error.
1 X i .
2 b X b X
X Y
1 i i i i
i 1 i 1 i
1 Metode least square bertujuan mendapatkan penak- sir koefisien regresi, yaitu b dan b
1 , yang menjadi-
n n n n
2
X X b X
X Y 1 i 1 i i i kan jumlah kuadrat error, yaitu sekecil
2 Y b
i
i 1 i 1 i
1 i
1 n n n n mungkin. Prosedur metode kuadrat terkecil adalah
2 Y X b
X X b X
X Y i 1 i 1 i i i
sebagai berikut : i 1 i 1 i 1 i
1 n
2 n n n n i. Membentuk sebagai fungsi b dan b
1 ,
2 i
b X
X X
X Y Y
X 1 i i i i i i
1 i 1 i 1 i 1 i
1 n n
2
2 S = f(b ,b
1 ) = = Y b b
X i i 1 i
n n n i 1 i
1
X Y Y
X X Y n
X Y i i i i i
ii. Mendiferensialkan S terhadap b dan b
1 , kemudi-
S
XY i
1 i 1 i
1
b
1
n n n
S S
2
2
an hasil diferensialnya, yaitu dan disa-
2 S
X X X n
X i i i
XX X
b b
1 i
1 i 1 i
1 makan dengan 0.
Model regresi linier multiple dinyatakan dengan Perhitungan Taksiran Simpangan persamaan berikut :
Baku Penaksir Koefisien Regresi Y = + X + + ... + X , i 1 1i k ki i
Simpangan baku penaksir koefisien regresi adalah dengan model dugaan sbb, akar variansi penaksir koefisien regresi, sehingga
Yˆ b + b
X ki i taksiran simpangan baku merupakan akar taksiran variansi. Berikut ini adalah penurunan variansi b
1 X 1i + ... + b k
1 :
Langkah perhitungan penaksir koefisien regresi : n n n n
2 = f(b ,b ) =
S
1
i
X Y Y
X X Y n
X Y i i i i i
i
XY
1 S i i i
1 1
1
b
1 n n n
n S
2
2
2
2 XX
X
X X X n
X i i i
= Y b b X . . . b X , i
1 1 i k ki i i i
1 1
1
i
1 kemudian dideferensialkan terhadap b , b
1 , ... b k ,
Formula b
1 terdiri dari variabel fixed yaitu X dan
dan hasilnya disamakan dengan nol, variabel random, yaitu Y, sedangkan yang mempu- S S S 0, 0, . . . , 0, nyai variansi hanyalah variabel random. Untuk itu
b b b 1 k formula b diupayakan agar antara X dan Y jelas
1
dan mudah bentuk hubungannya, dan yang akan Persamaan normal menjadi : diolah hanyalah pembilang, karena pembilanglah n n n yang memuat Y. n b b X b X Y . . .
1 1 i k ki i
i
1 i 1 i
1
n n n n n n n
2 b X b X b
X X ... b
X X
X Y 1 i
1 1 i
2 1 i 2 i k 1 i ki 1 i i
X Y n
X Y X
X Y Y i i i i i 1 i 1 i 1 i 1 i 1 i 1 i
1 . n .
X X Y X
X Y i i i i
1 . n n n n n n n
2 b X b
X X b
X X ... b X
X Y ki
1 1 i ki
2 2 i ki k ki ki i
X X Y X
X Y i 1 i 1 i 1 i 1 i 1 i i i
i 1 i
1 n
Untuk mempermudah menghitung penaksir koefisi- X X Y
en regresi maka persamaan normal diubah ke ben- i i
i
1 tuk matrik,
X X Y X X Y . . . X X Y 1 1 2 2 n n n n n
n X
X
1 i ki Y
i i
1 i 1 b
i
1
Formula variansi b menjadi sebagai berikut :
1
n n n n
2
b
X X
X X
1 1 i 1 i 1 i k
i
1 X Y 1 i i n
1 i 1 i 1
i
1 X Y n
X Y
i i n
1 i
1
n
X Y n
X Y var var
n n n
i i b n 2 k
2 n
X Y
2
X X X ki i X n
X ki
1 i k 1 ki
i X n
X
2 X
i
i
1
i
1 i 1 i
1
i
1 i
1
A b = g ( k 1 ) ( k 1 ) ( k 1 ) 1 ( k 1 )
1 n
var
X Y n
X Y i i
Pada satu matrik dan dua vektor di atas, masing-ma- i
1
sing dinamai : matrik A (berukuran (k+1) (k+1)), var
X X Y
X X Y . . .
X X Y = vektor b (berukuran (k+1)
1 1 2 2
1), dan vektor g (juga n n berukuran (k+1) 1), sehingga persamaan normal
2
2
2 menjadi :
= X X var Y X X var Y . . . X X var Y
1
1
2 2 n n A b = g,
2
2
2
2
2
2 X
X X X X X = dan didapatkan penaksir koefisien regresi, yaitu b : . . .
1 2 n
- -1
b = A g n
2
2 X
X T i
dengan b = (b , b
1 , ... , b k )
i
1 Latihan 1 n
Buktikan persamaan berikut :
X Y n
X Y i i n
2
1
2 i
1
X X var
ˆ
i n 2
1. Y Y b (
X X )
n
1
2
2 i
1
2
X i X n
2 X n
X i
i
1
2. Buktikan titik ( X , Y ) terletak pada garis regresi. i
1 n
ˆ
i
3. Y / n Y i
1
2
2
) ( ...
X X n n i
=
1
2
2
2
2
2
) ( ) (
X X n n n i i
2
2
2
=
n i n i i i
X X
X Y n
1
1
2
2
2
2
) ( ) var( 1
=
2
2
Setelah ke dua suku disamakan penyebutnya, dan
) ( )
2
Penaksir simpangan baku (b ) = 2 /
1
1
1
2
2 ) (
X X n X s n i i n i i
X X s b n i i n i i n i i n i i
2
2
diganti dengan s
2
, didapatkan penaksir var(b ) sebagai berikut :
2
1
1
2
2
X X n X n
1
2
2
1
2 ) ( ) (
) ( ) r( a
ˆ v
X X n X s
1 var(
2
2
X X X nX
1
1
1
1 var ( ) ( )
ˆ ˆ var( ) ; , : var( ) ( )
( ) ( ) n i i n i i n n i i i i i n i i n n n i i i i i i
X Y nXY
X X
2
X X s b bila tidak diketahui maka menjadi b
X X
X X
X X
2
2
2
1
2
1
2
2
2
1
2
1
1
2
2
1
2
2
2
2
1
X Y X b Y =
var(b ) = ) var( ) var( ) var(
1
2
1 b
1
n i n i i i
X X
X Y n
1
2
1
1
1
Penaksir Simpangan Baku (b
1 ) = 1/ 2
2
1 ( )
n i i s
X X
1
s
2
= jumlah kuadrat error/n-2 Selanjutnya diuraikan penurunan variansi b , b = X b Y
X b Y n
n
i
i n i i1
1 X
1 X
Penaksir Kovariansi Koefisien Regresi
Review Rumus :1. E(X) =
X , E(aX) = a E(X) = a
X
2
2
2. var(X) = E(X = E(X
X )
- – E(X)) – 3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y) 4. cov(X,Y) = E{(X
X )(Y Y )}
- – – 5. cov(aX,bY) = E(aX
X )(bY Y ) = E(ab(X X )(Y Y )) = ab E(X X )(Y Y ) =
- – a – b – – – – ab cov(X,Y)
6. cov( +
1
2
1 X i , +
2 X j ) = 1
2 cov(X i ,X j ), buktikan!
2
Diketahui : Y i variabel random saling independen dan identik, dengan var(Y i ) = , i = 1, 2, ... , n. Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Y , sbb : i.
n n
a = , b =
a Y a Y a Y . . . a Y b Y b Y b Y . . . b Y i i
1
1
2 2 n n i i
1
1
2 2 n n i 1 i
1
a dan b masing-masing konstanta.
i i
cov(a,b) = cov( ( a Y a Y . . . a Y ), ( b Y b Y . . . b Y ))
1
1
2 2 n n
1
1
2
2 n n Lebih mudah melalui var(a + b),var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b) var(a) var(b) var(a + b) = var (( a Y a Y . . . a Y ) ( b Y b Y . . . b Y ))
1
1
2
2
1
1
2
2 n n n n
= var((a
1 + b 1 )Y 1 + (a 2 + b 2 )Y
2 + . . . + (a n + b n )Y n )
2
2
2
= (a
1 + b 1 ) var(Y 1 ) + (a 2 + b 2 ) var(Y 2 ) + ... + (a n + b n ) var(Y n )
2
2
2
2
2
2
= (a + b ) + (a + b ) + ... + (a + b )
1
1
2 2 n n n
2
2
= ( a b )
i i i
1
var(a) = var ( a Y a Y . . . a Y )
1
1
2
2 n n
= var((a
1 )Y 1 + (a 2 )Y 2 + . . . + (a n )Y n )
= (a
1 ) var(Y 1 ) + (a 2 ) var(Y 2 ) + ... + (a n ) var(Y n )
2
2
2
2
2
2
= (a ) + (a ) + ... + (a )
1 2 n n
2
2
= a
i i
1
var(b) = var ( b Y b Y . . . b Y )
1
1
2 2 n n
= var(b
1 )Y 1 + (b 2 )Y 2 + . . . + (b n )Y n )
2
2
2
= (b
1 ) var(Y 1 ) + (b 2 ) var(Y 2 ) + ... + (b n ) var(Y n )
2
2
2
2
2
2
= (b
1 ) + (b 2 ) + ... + (b n ) n
2
2
= b
i i
1
2 cov(a,b) = var(a + b) var(a) var(b)
n n n
2
2
2
2
2
2
= ( )
a b a b i i i i
i 1 i 1 i
1 n n n
2
2
2
2
2
2
2
= ( a b
i 1 i 1 i
2 a b ) a b i i i i i i
1
n2
=
2 a b i i
i
1 n
2
cov(a,b) = a b
i i i
1
,b ) Penurunan cov(b
1 Cara Pertama,
cov(b ,b ) = cov , digunakan review rumus 6, dengan = Y ,
1 (( Y b X b ), ) cov( Y Xb b , )
1
1
1
1
1
1 = X 2 = 0, dan 2 = 1.
,
2 X = cov(
X cov( , )) b b X var( ) b =
1
1
1
n
2 (
X X )
i i
1 Cara Kedua,
Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman operasi variabel random yang sangat baik. Variabel random b dan b masing-masing merupakan fungsi
1 variabel random Y i .
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b ,b
1 ); keduanya merupakan fungsi variabel random Y i. . n n
(
X X Y ) (
X X Y )
i i i i n
i
1 i
1
1 cov(b ,b ) = cov Y
X , 1 n i n n
2
2
i
1
(
X X ) (
X X )
i i
i
1 i
1
n
2
( X X ) tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap i
i
1 konstanta, dinotasikan k. Begitu pula dengan X , juga konstanta, boleh dikeluarkan dari sigma.
n n
X ( X
X Y ) ( X
X Y ) i i i i n
1 i
1 i
1
cov(b ,b
1 ) = cov Y , i n
1 k k i
n n n
1
kY X ( X
X Y ) ( X
X Y ) n i i i i i
i
1 i 1 i
1
= cov ,
k k k
n n n
1
kY X ( X
X Y ) ( X
X Y ) n i i i i i
1 1
1
i i i
= cov ,
k k
n n
1 1 1
1 = cov ( k )
X X (
X Y )) , ( X
X Y ) n i i i i
i
1 k k i 1 k
n
1
1 1 2
1 = ( k )
X X ( X ) ( X X ) n i i
i
1 k k k
n
2
1
1
2
1 = k X (
X )
X X ( X )
n i i
2
2
i
1 k k
n n
2
1
1 2
1 = k X (
X )
X X ( X )
n i i
2
2
i
1 k i 1 k
n n n
2
1
1 2
1 = k (
X X ) X ( X X ) dapat diturunkan bahwa (
X X )
n i i i
2
2
k i
1 k i 1 i
1
n n
1
2
2
2 = ( ) pada awal penurunan disebutkan k =
X X
X
(
X X ) i i
2
k i
1
i
1
X
2 =
n
2
(
X X )
i
i
1
2
X
=
n
2 ( )
X
X i
i
1
2 X cov(b ,b
1 ) = n
2 (
X X ) i
i
1
ˆY Penaksir Nilai Respon,
Setelah didapatkan penaksir koefisien regresi, yaitu b dan b
1 , maka dapat dihitung penaksir respon, yaitu ˆY
sebagai berikut :
ˆ = b + b X (model umum) atau (model setiap pengamatan). ˆY
1 Y b b X
i
1 i
Apabila diketahui atau ditentukan nilai variabel bebas sebesar X , maka didapatkan penaksir atau dugaan nilai respon, ˆY sebesar :
ˆ
Y b b X .
i
1 i
Selanjutnya dihitung var( ˆY ), var( ˆY ) = var( b b X ) var( Y b X b X ) var( Y b X ( X ))
1
1
1
1
= var( ) var( ( Y b X X ) 2cov( , ( Y b X X ))
1
1
n
(
X X ) ( X
X Y ) i i
n
i
1
1
cov( , ( )) = cov( , ( ) ) = cov , Y b X
X Y X X b Y
1 1 n i
n
i
1
2
(
X X )
i
i
1
n
(
X X ) ( X
X )
n i
2 1 i
1
= ( )
n n
2
i
1
(
X X ) i
i
1
n
= 0, karena (
X X ) i
i
1
2
2
2
2 (
X X )
2
var( ˆY ) = var( ) var( ( Y b X X ) 0 = ( X X ) var( ) b
1
1
n n n
2 (
X X ) i
i
1 Penduga var( ˆY ) =
2
2
Penduga simpangan baku
ˆY
=
1/ 2
2
1
( )
1 ( ) n i i
X X s n
X X
X
X2
2
2
1 ( )
( )
n i i
X X s s n
X X
X
X s n =
2
2
2
1 ( )
1 ( )
n i i