Least Square atau Kuadrat Terkecil

  

Least Square atau Kuadrat Terkecil

n

  Metode Least Square atau Metode Kuadrat Terkecil  S

  2 Ybb X (  1 )    i 1 i

   digunakan untuk mendapatkan penaksir koefi-b i

  1  linier. Model regresi linier sederha- n sien regresi na dinyatakan dengan persamaan :

   Ybb X   i

  1 i

   i

  1 n n n

  1 Y =   X +  , model umum +

   Y + + i =  

  1 X ii , model setiap pengamatan Ybb Xi

  1 i

     i

  1 i  1 i

  1 Model dugaan dinyatakan oleh :

  n n

  ˆ ˆ ˆ

  Y     X atau Yˆ = b + b

  1 X , model umum

  1 i

  1 Yn bb Xi

    i

  1 i

  1  

  ˆ ˆ ˆ

  YX atau Yˆ  b + b

  1 i i i n n pengamatan n bb XY ...... ......... (

  1 X i , model setiap   

  1 ) 1 i i

    i

  1 i

  1  

  Didapatkan eror, yaitu  atau  sebagai berikut :

  i

  n

  ˆ

  Y Y = Y b b

  X

       S

  1   2  Ybb X  (  X )  i 1 i i

   atau :

   b 1 i

  1  n

  ˆ   YYYbb

  X i i i i 1 i

   Ybb X  ( X )  i 1 i i

   i

  1  Secara geometrik, titik-titik hasil eksperimen, model n n n

  2 dan error digambarkan pada grafik berikut ini :

  Y Xb Xb Xi i i 1 i

     i 1 i 1 i

  1

  10

     n n n

  2

  Xb Xi i i 1 i

  9 X Yb

     i 1 i 1 i

  1   

  8

  n n n

  2

  7

  b Xb X

  X Y ........ (2) i 1 i i i

     Y i 1 i 1 i

  1   

  6 Persamaan (1) dan (2) dinamai persamaan normal.

  5

  iii. Menghitung b dan b

  1 berdasarkan dua persama-

  4

  an yang terbentuk. Dari persamaan (1) didapat- kan formula b ,

  3

  n n

  10

  15

  20

  25

  30

  35

  40

  45 X

  n bb XY 1 i i

    i 1 i

  1   Titik-titik merah adalah nilai hasil eksperimen, di- n n notasikan Y i , yang diduga membentuk garis lurus

  1  

  b =

   Yb

  X   Yb

  X i 1 i

  1 berwarna biru. Garis inilah model yang akan di-

    n i  1 i

  1

   

  taksir, dengan cara menaksir koefisiennya, yaitu b dan b

  1 , sehingga terbentuk persamaan Yˆ  b + b

  i Formula b ini kemudian disubstitusikan ke Garis tegak lurus sumbu horisontal yang menghu- persamaan (2), bungkan titik eksperimen dengan garis lurus dugaan n n n dinamai error.

  1 X i .

  2 b Xb X

  X Y

  1 i i i i

     i 1 i 1 i

  1    Metode least square bertujuan mendapatkan penak- sir koefisien regresi, yaitu b dan b

  1 , yang menjadi-

  n n n n

  2

  X Xb X

  X Y  1  i 1 i i i kan jumlah kuadrat error, yaitu  sekecil

  2 Yb

     i

   i  1 i  1 i

  1 i

  1 n n n n mungkin. Prosedur metode kuadrat terkecil adalah

  2 Y Xb

  X Xb X

  X Y i 1 i 1 i i i

      sebagai berikut : i  1 i  1 i  1 i

  1 n

  2 n n n n i. Membentuk  sebagai fungsi b dan b

  1 , 

  2  i

   bX

  X X  

  X YY

  X 1 i i i i i i

  1      i 1 i 1 i 1 i

   

  1     n n

  2

  2 S = f(b ,b

  1 ) =  =  Ybb

  Xi i 1 i

    n n n i 1 i

  1  

  X YY

  X X Yn

  X Y i i i i i

     ii. Mendiferensialkan S terhadap b dan b

  1 , kemudi-

  S

  XY i

  1 i  1 i

  1

  b

    

  1

  n n n

   SS

  2

  2

  an hasil diferensialnya, yaitu dan disa-

  2 S

  X X Xn

  X i i i

  XX X

    

   bb

  1 i

  1 i 1 i

  1    makan dengan 0.

  Model regresi linier multiple dinyatakan dengan Perhitungan Taksiran Simpangan persamaan berikut :

  Baku Penaksir Koefisien Regresi Y =   + X + + ... + X  , i 1 1i k ki i

  Simpangan baku penaksir koefisien regresi adalah dengan model dugaan sbb, akar variansi penaksir koefisien regresi, sehingga

  Yˆ  b + b

  X ki i taksiran simpangan baku merupakan akar taksiran variansi. Berikut ini adalah penurunan variansi b

  1 X 1i + ... + b k

  1 :

  Langkah perhitungan penaksir koefisien regresi : n n n n

  2 = f(b ,b ) = 

  S

  1

  i

  X YY

  X X Yn

  X Yi i i i i

     i

  XY

  1 Si i i

   1  1 

  1

  b   

  1 n n n

  n S

  2

  2

  2

  2 XX

  X

  X X Xn

  X i i i

  =  Ybb X  . . .  b X  , i

  1 1 i k ki     i i i

   1  1 

  1

  i

  1  kemudian dideferensialkan terhadap b , b

  1 , ... b k ,

  Formula b

  1 terdiri dari variabel fixed yaitu X dan

  dan hasilnya disamakan dengan nol, variabel random, yaitu Y, sedangkan yang mempu-  SSS 0, 0, . . . , 0, nyai variansi hanyalah variabel random. Untuk itu

      bbb 1 k formula b diupayakan agar antara X dan Y jelas

  1

  dan mudah bentuk hubungannya, dan yang akan Persamaan normal menjadi : diolah hanyalah pembilang, karena pembilanglah n n n yang memuat Y. n bb X   b XY . . .

  1 1 i k ki i

     i

  1 i  1 i

  1

  n n n n n n n

  2 b Xb Xb

  X X  ...  b

  X X

  X Y 1 i

  1 1 i

  2 1 i 2 i k 1 i ki 1 i i     

  X Yn

  X YX

  X YY i ii  ii  1 i  1 i  1 i  1 i  1   i 1 i

  1   . n .

   XX   YX

  X Y   iii     i

  1 . n n n n n n n

  2 b Xb

  X Xb

  X X  ...  b X

  X Y ki

  1 1 i ki

  2 2 i ki k ki ki i     

   XX   YX

  X Y      i  1 i  1 i  1 i  1 i  1 i i i

    i 1 i

  1   n

  Untuk mempermudah menghitung penaksir koefisi-  XX   Y

    en regresi maka persamaan normal diubah ke ben- i i

   i

  1  tuk matrik,

   XX   YXX   Y  . . .  XX   Y  1  1  2  2  nn n n n

      n X

  X

  1 i ki Y

  i        i

  1 i  1 b

  i

  1

    Formula variansi b menjadi sebagai berikut :

  1

    n n n   n

  2  

    b  

  X X

  X X

  1 1 i 1 i 1 i k

             i

  1 X Y 1 i i n

  1 i  1 i  1  

  i

  1 X Y n

  X Y

     

i i

   n    

      1   i

  1  

    n

  X Y n

  X Y var  var 

   n n n   

    i i b n 2  k

  2     n

        

  X Y

  2

  X X Xki iX n

  X ki

  1 i k 1 ki

    iX n

  X     

  2 X

    i

      i

  1 

  i

  1 i  1 i

  1

    i

  1     i

  1  

  A b = g ( k  1 )  ( k  1 ) ( k  1 )  1 ( k  1 ) 

  1 n

    var 

  X Yn

  X Y   i i

  Pada satu matrik dan dua vektor di atas, masing-ma-  i

  1

   

  sing dinamai : matrik A (berukuran (k+1) (k+1)), var

  X X Y

  X X Y . . .

  X X Y =             vektor b (berukuran (k+1)  

  1  1  2  2   

  1), dan vektor g (juga n n berukuran (k+1) 1), sehingga persamaan normal

  2

  2

  2 menjadi :

  = XX var YXX var Y  . . .  XX var Y

             

  1

  1

  2 2 n n A b = g,

  2

  2

  2

  2

  2

  2 X

  XXX   XX = dan didapatkan penaksir koefisien regresi, yaitu b :   . . . 

  

  1   2   n

  • -1

  b = A g n

  2

  2 X

  X T    i

   dengan b = (b , b

  1 , ... , b k )

  i

  1  Latihan 1 n

    Buktikan persamaan berikut :

  X Yn

  X Y   i i n

  

  2

  1

  2 i

  1   

  

  X X var    

  ˆ

  i n 2 

  1. Y Y b (

  X X )

    

  n

  1

   

  2

  2 i

  1  

  2

  Xi X n

  2 X n

  X       i

   i

  1

  2. Buktikan titik ( X , Y ) terletak pada garis regresi.    i

  1   n

  ˆ

   i

  3. Y / n Yi

  1 

   

  2

  2

  ) ( ...

  X X n n i

      

   

     

  =

  1

  2

  2

  2

  2

  2

  ) ( ) (

  X X n n n i i

   

  2

  2

   

  2

  =  

   

   

  n i n i i i

  X X

  X Y n

  1

  1

  2

  2

  2

  2

  ) ( ) var( 1 

  =  

  2

  2

   

  Setelah ke dua suku disamakan penyebutnya, dan 

  ) ( )

  2

    

    

     

   

   

  Penaksir simpangan baku (b ) = 2 /

  1

  1

   

  1

  2

  2 ) ( 

       

       

     

  X X n X s n i i n i i

     

  X X s b n i i n i i n i i n i i

  2

  2

  diganti dengan s

  2

  , didapatkan penaksir var(b ) sebagai berikut :

  2

  1

  1

  2

  2

  X X n X n

  1

  2

  2

  1

  2 ) ( ) (

  ) ( ) r( a

  ˆ v

  X X n X s

  1 var( 

  2

  2

  X X X nX

  1

  1

  1

  1 var ( ) ( )

  ˆ ˆ var( ) ; , : var( ) ( )

  ( ) ( ) n i i n i i n n i i i i i n i i n n n i i i i i i

  X Y nXY

  X X

  2

  X X s b bila tidak diketahui maka menjadi b

  X X

  X X

  X X  

    

     

     

  2

  2

  2

  1

  2

  1

  2

  2

  2

  1

  2

  1

  1

  2

  2

  1

  2

  2

  2

  2

  1

              

            

      

  X Y X b Y    =

   

    

  

      var(b ) = ) var( ) var( ) var(

  1

  2

  1 b

     

  1

   

  n i n i i i

  X X

  X Y n

  1

  2

  1

  1   

  1

     

          

     

    Penaksir Simpangan Baku (b

  1 ) = 1/ 2

  2

  1 ( )

  n i i s

  X X

     

  1

    

     

   

   s

  2

  = jumlah kuadrat error/n-2 Selanjutnya diuraikan penurunan variansi b , b = X b Y

  X b Y n

n

i

i n i i

  1

1 X

1 X

  

Penaksir Kovariansi Koefisien Regresi

Review Rumus :

  1. E(X) = 

  X , E(aX) = a E(X) = a 

  X

  2

  2

  2. var(X) = E(X = E(X

  X )

  • – E(X)) –  3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y) 4. cov(X,Y) = E{(X

  X )(Y Y )}

  • –  –  5. cov(aX,bY) = E(aX

  X )(bY Y ) = E(ab(X X )(Y Y )) = ab E(X X )(Y Y ) =

  • – a – b –  –  –  –  ab cov(X,Y)

  6. cov(  +

  1 

  2

  1 X i ,   +

  2 X j ) =  1 

2 cov(X i ,X j ), buktikan!

  2

   Diketahui : Y i variabel random saling independen dan identik, dengan var(Y i ) = , i = 1, 2, ... , n. Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Y , sbb : i.

  n n

  a = , b =

  a Ya Ya Y  . . .  a Y b Yb Yb Y  . . .  b Y i i

  1

  1

  2 2 n n i i

  1

  1

  2 2 n n   i 1 i

  1  

  a dan b masing-masing konstanta.

  i i

  cov(a,b) = cov( ( a Ya Y  . . .  a Y ), ( b Yb Y  . . .  b Y ))

  1

  1

  2 2 n n

  1

  1

  

2

2 n n Lebih mudah melalui var(a + b),

  var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b)  var(a)  var(b) var(a + b) = var (( a Ya Y  . . .  a Y )  ( b Yb Y  . . .  b Y ))

  1

  1

  2

  2

  1

  1

  2

  2 n n n n

  = var((a

  1 + b 1 )Y 1 + (a 2 + b 2 )Y

2 + . . . + (a n + b n )Y n )

  2

  2

  2

  = (a

  1 + b 1 ) var(Y 1 ) + (a 2 + b 2 ) var(Y 2 ) + ... + (a n + b n ) var(Y n )

  2

  2

  2

  2

  2

  2

  = (a + b )  + (a + b )  + ... + (a + b ) 

  1

  1

  2 2 n n n

  2

  2

  =  ( ab )

  i ii

  1 

  var(a) = var ( a Ya Y  . . .  a Y )

  1

  1

  2

  2 n n

  = var((a

  1 )Y 1 + (a 2 )Y 2 + . . . + (a n )Y n )

  = (a

  1 ) var(Y 1 ) + (a 2 ) var(Y 2 ) + ... + (a n ) var(Y n )

  2

  2

  2

  2

  2

  2

  = (a )  + (a )  + ... + (a ) 

  1 2 n n

  2

  2

  =  a

  ii

  1 

  var(b) = var ( b Y b Y . . . b Y )

    

  1

  1

  2 2 n n

  = var(b

  1 )Y 1 + (b 2 )Y 2 + . . . + (b n )Y n )

  2

  2

  

2

  = (b

  1 ) var(Y 1 ) + (b 2 ) var(Y 2 ) + ... + (b n ) var(Y n )

  2

  2

  2

  2

  2

  2

     = (b

  1 ) + (b 2 ) + ... + (b n ) n

  2

  2

   = b

  ii

  1

  2 cov(a,b) = var(a + b)  var(a)  var(b)

  n n n

  2

  2

  2

  2

  2

  2

  =  ( )  

  abab i i i i

     i 1 i 1 i

  1    n n n

  2

  2

  2

  2

  2

  2

  2

  =  ( a b

     i 1 i 1 i

  2 a b )  ab     i i i i i i

  

1

   n

  2

  = 

  2 a b i i

   i

  1  n

  2

   cov(a,b) = a b

  i ii

  1 

  ,b ) Penurunan cov(b

1 Cara Pertama,

  cov(b ,b ) = cov , digunakan review rumus 6, dengan = Y ,

  1 (( Yb X b ), )  cov( YXb b , ) 

  1

  1

  1

  1

  1 

  1 = X 2 = 0, dan  2 = 1.

   , 

  2 X  = cov(

  X cov( , )) b b X var( ) b =    

  1

  1

  1

  n

  2 (

  X X )

  

  ii

1 Cara Kedua,

  Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman operasi variabel random yang sangat baik. Variabel random b dan b masing-masing merupakan fungsi

  1 variabel random Y i .

  Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b ,b

  1 ); keduanya merupakan fungsi variabel random Y i. . n n

   

  (

  X X Y ) (

  X X Y )

   

  i i i i n

     

  i

  1 i

  1

  1 cov(b ,b ) = cov  Y

  X ,  1  n i n n

  

  2

  2

  i

  1 

   (

  X X ) (

  X X )

   

  i i

     

  i

  1 i

  1 

  

  n

  2

  ( XX ) tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap i

   i

  1 konstanta, dinotasikan k. Begitu pula dengan X , juga konstanta, boleh dikeluarkan dari sigma.

  n n

   

  X ( X

  X Y ) ( X

  X Y ) i i i i n

        1 i

  1 i

  1 

   cov(b ,b

  1 ) = cov Y  , i n

  

   1 k ki  

   

  

  n n n

   

  1

  kY X ( X

  X Y ) ( X

  X Y ) n i i i i i

   

     i

  1 i  1 i

  1 

   = cov  ,

  k k k

   

   

   

  n n n

   

  1

  kYX ( X

  X Y ) ( X

  X Y ) n i i i i i

   

    

   1  1 

  1

  i i i

   

  = cov ,

  k k

   

   

   

  n n

   

  

  1 1   1 

  1 = cov ( k ) 

  X X ( 

  X Y )) , ( X

  X Y ) n i i i i

   

       

  i

  1 k k i 1 k  

      

  

  n

  

  1

  1 1  2   

  1 =  ( k ) 

  X X (  X ) ( XX ) n i i

       

  i

  1 k k k   

   

  n

  2

  1

  1

  2

   

  1 = k X (

  X )

  X X ( X )

     

  n i i

  2

  2

     i

  1 k k

    n n

  2 

  1

  1 2 

  1 = k X ( 

  X ) 

  X X (  X )

  

  n i i

  2

  2    

  i

  1 k i  1 k  

  n n n

  2 

  1

  1 2 

  1 = k (

  XX )  X ( XX ) dapat diturunkan bahwa (

  X X )

  

    n i i i

  2

  2     

  k i

  1 k i  1 i

  1  

  n n

   1 

  2

  2

  2 = ( ) pada awal penurunan disebutkan k =

   

  X X

  X

  (

  XX ) i i

  2   

   k i

  1

  i

  1      

  X

  2 =   

  

  n

  2  

  (

  X X )

  

  i

   

  i

  1  

  2 

  X

  = 

  n

  2 ( )

  X

  X i

   i

  1

  2 X  cov(b ,b

  1 ) =  n

  2 (

  XX ) i

   i

  1

  ˆY Penaksir Nilai Respon,

  Setelah didapatkan penaksir koefisien regresi, yaitu b dan b

  1 , maka dapat dihitung penaksir respon, yaitu ˆY

  sebagai berikut :

  ˆ = b + b X (model umum) atau (model setiap pengamatan). ˆY

  1 Y   b b X

  i

  1 i

  Apabila diketahui atau ditentukan nilai variabel bebas sebesar X , maka didapatkan penaksir atau dugaan nilai respon, ˆY sebesar :

  ˆ

Y   b b X .

  i

  1 i

  Selanjutnya dihitung var( ˆY ), var( ˆY ) = var( bb X )  var( Yb Xb X )  var( Yb X (  X ))

  1

  1

  1

  1

  = var( ) var( ( Yb XX ) 2cov( , (  Y b XX ))

  1

  1

  n

    (

  XX ) ( X

  X Y ) i i

n

    

  i

  1

  1

  cov( , ( )) = cov( , ( ) ) = cov  ,  Y b X

  X Y XX b Y

  1 1 n i

  n

i

  1

  2  

  (

  X X )

  

  i

   

  i

  1  

  n

    (

  XX ) ( X

X )

n i

    

  2 1 i

  1  

  = ( )

  

  n n

  2

  i

  1  

  (

  XX ) i

    

  i

  1  

  n

  = 0, karena (

  XX )  i

   i

  1

  2

  2

  2

  2 (

  X X )

   2   

  var( ˆY ) = var( ) var( ( Yb XX ) 0  =  ( XX ) var( ) b  

  1

  1

  n n n

  2 (

  XX ) i

   i

  1 Penduga var( ˆY ) =

  2

  2

    

      

   Penduga simpangan baku

  ˆY

  =

  1/ 2

  2

  1

      

  ( )

  1 ( ) n i i

  X X s n

  X X

  

        

       

    

  

X

X

  2

   

  2

  2

  1 ( )

  ( )

  n i i

  X X s s n

  X X

   

  

X

X s n

   =

  2

  2

  2

  1 ( )

  1 ( )

  n i i

    