Metode Kuadrat Terkecil Dengan Matriks

Persamaan 2.4 dapat disederhanakan menjadi : ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ + − + − − = + ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ − + − − = + − + − − = − − = 2 2 2 2 2 2 2 2 2 2 2 2 2 ˆ X n X X X X Y X Y Y X Y X X n n X n X X Y n X Y Y X Y X X n X n X X Y n X Y n X Y n Y X X n X X Y n Y X i i i i i i i i i i i i i i i i i i β 2.5 ∑ ∑ − − − = 2 ˆ X X Y Y X X i i i β

2.3.1 Metode Kuadrat Terkecil Dengan Matriks

Telah diketahui bahwa bentuk umum model regresi linear dalam bentuk matriks adalah Y=X β+ε, maka persamaan hasil estimasinya dapat ditulis . e β X Y + = ˆ Diperoleh : . β X Y e ˆ − = Sekarang dengan meminimumkan jumlah kuadrat residu, diperoleh : . ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 1 2 β X X β Y X β 2 Y Y X β X β β X Y Y X β Y Y β X Y β X Y + − = + − − = − − = = = ∑ = k i i e e e JKS Perhatikan bahwa karena keduanya skalar. Ada dua cara dalam menyelesaikan masalah ini. Pertama ialah dengan menurunkan JKS terhadap dan menyamakan turunannya dengan nol diperoleh : β X Y Y X β ˆ ˆ = βˆ . ˆ 2 ˆ 2 ˆ 2 2 ˆ Y X β X X Y X β X X β X X Y X = ⇔ = ⇔ = + − = ∂ ∂ β JKS Jika X’X tidak singulir maka ada balikannya inversnya. Jadi mempunyai penyelesaian tunggal, maka diperoleh nilai estimasi : Y X β X X = ˆ β 2.6 Y X X X β 1 − = ˆ Sedangkan cara yang kedua lebih menguntungkan dari segi komputasi, cara ini disebut pemfaktoran QR. Suatu matriks sebarang, misal A, berukuran selalu dapat diuraikan menjadi A=QR. n n × Dengan Q’Q=I dan R matriks segitiga yang semua unsurnya dibawah diagonal utama nol. Penguraian QR sangat memudahkan perhitungan dalam metode kuadrat terkecil dan dengan ketelitian yang sangat tinggi. Lihat kembali peminimuman persamaan: β X β β X Y Y Y ˆ ˆ ˆ 2 + − = JKS Dalam hal ini X berukuran p n × , dengan p=k+1. Misalkan X=QR, dengan p p I Q Q × = dan R matriks segitiga berukuran p p × . Ganti X dengan QR pada persamaan diatas kemudian tambahkan dan kurangi dengan Y’QQ’Y, maka kita peroleh: . ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 2 β R Y Q β R Y Q Y QQ I Y β R R β β QR 2Y Y QQ Y Y QQ Y Y Y β QR Q R β β QR Y Y Y − − + − = + − + − = + − = JKS Kedua suku di ruas kanan berbentuk kuadrat, suku pertama tidak mengandung parameter , jadi tidak terpengaruh proses peminimuman. Jadi JKS akan minimum, yaitu nol, jadi jika βˆ ˆ = − β R Y Q , atau R β Y Q = . Jadi diperoleh nilai estimasi : β Y Q R β 1 − = ˆ . Nyatakan R dan Q kembali dalam X maka diperoleh: Y XR R Y Q R β 1 1 1 − − − = = ˆ Karena dari X=QR diperoleh , maka 1 XR Q − = . Y X R R Y X R R Y XR R β 1 1 1 1 1 − − − − − = = = ˆ Karena Q’Q=I maka Y X QR Q R β 1 − = ˆ . Karena QR=X dan R’Q’=X’ maka Y X X X β 1 − = ˆ . 2.3.2 Sifat-Sifat Penaksir Kuadrat Terkecil Menurut Sumodiningrat 2002:109, terdapat tiga sifat penaksir kuadrat terkecil, yaitu : 1 Linear Linearity Pandang kembali persamaan 2.5 : ∑ ∑ − − − = 2 ˆ X X Y Y X X i i i β 2 ˆ ∑ ∑ ∑ − − − − = X X X X Y X X Y i i i i β Karena = − ∑ X X Y i , maka 2 ˆ ∑ ∑ − − = X X X X Y i i i β . Misalkan X X x i i − = , diperoleh : ∑ ∑ = 2 ˆ i i i x x Y β 2.7 ∑ = ⇔ i i Y k βˆ dimana ∑ = 2 i i i x x k . Persamaan 2.7 menunjukkan bahwa adalah penaksir linear karena merupakan fungsi linear dari Y. β ˆ Begitu juga dengan 2.3 yang memberikan : ∑ ∑ − = − = i i i Y k X n Y X Y ˆ ˆ β α 2.8 ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = i i Y k X n 1 Persamaan 2.8 menunjukkan bahwa αˆ juga merupakan fungsi linear dari Y. 2 Tak Bias Unbiasedness Dari 2.7 menunjukkan bahwa : ∑ = i i Y k βˆ dan telah didefinisikan sebelumnya bahwa : i i i X Y ε β α + + = , maka : ∑ + + = i i i X k ε β α βˆ 2.9 ∑ ∑ ∑ + + = i i i i i k X k k ε β α Karena ∑ = 2 i i i x x k dan ∑ ∑ ∑ = = 2 i i i x x k , maka : ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ = = = + = + = + = 1 karena 2 2 2 2 i i i i i i i i i i i i i i i X k k x x k X x x X k x k X x k X k Substitusikan nilai-nilai tersebut ke dalam 2.9 sehingga diperoleh : 2.10 ∑ + = i i k ε β βˆ [ ] [ ] [ ] ∑ + = i i E k E E ε β βˆ Dengan mengingat asumsi i ε , maka sebagai akibatnya : [ ] β β = ˆ E . Persamaan 2.8 memberikan : ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − + + = − − − + + = + + ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = i i i i i i i i i i i i k X X n X k X X k X k X n X n Y k X n ε β ε β α ε β α ε β α α 1 1 1 ε βX α k X n 1 1 ˆ i i i 2.10 ∑ ∑ − + = i i i k X n ε ε α α 1 ˆ Sehingga : [ ] [ ] [ ] ∑ ∑ − + = i i i E k X E n E ε ε α α 1 ˆ [ ] α α = ˆ E 3 Varians Minimum dari αˆ dan β ˆ Sekarang akan dibuktikan αˆ dan memiliki varians sampel terkecil dibandingkan dengan penaksir-penaksir linear tak bias lainnya. Pertama, akan dicari varians kemudian akan dibuktikan bahwa variansnya minimum. β ˆ β ˆ [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] karena 2 2 2 2 2 2 2.10 persamaan dari ˆ ˆ 2 2 2 2 2 2 1 1 2 1 2 1 2 2 2 2 2 2 2 1 2 1 1 1 2 1 2 1 2 2 2 2 2 2 2 1 2 1 2 2 = = + = ≠ + = + + + + + + = + + + + + + = = ⎥⎦ ⎤ ⎢⎣ ⎡ − = ∑ ∑ ∑ ∑ ∑ ∑ − − − − j i i j i j i i i j i j i i i n n n n n n n n n n n n i i E k E k k E k j i k k E k E k k k k E k k k E k k k k k k k E k E E Var ε ε σ ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε ε β β β L L L L Karena ∑ = 2 i i i x x k dan ∑ ∑ ∑ ∑ = = 2 2 2 2 2 1 i i i i x x x k , maka : 2.12 ∑ ∑ = = 2 2 2 2 ˆ i i x k Var σ σ β Sedangkan [ ] 2 ˆ ˆ α α α − = E Var 2 1 ⎥⎦ ⎤ ⎢⎣ ⎡ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = ∑ i i k X n E ε dari persamaan 2.11 ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = 2 2 1 i k X n σ ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ + − = 2 2 2 2 2 1 i i k X k X n n σ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ + − = ∑ ∑ 2 2 2 2 1 i i k X k n X n σ 1 dan karena 1 2 2 2 2 2 ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ = = ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ + = ∑ ∑ ∑ ∑ i i i i x k k x X n σ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + = ∑ ∑ 2 2 2 2 i i x n X n x σ 2.13 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ∑ ∑ 2 2 2 ˆ i i x n X Var σ α Untuk membuktikan bahwa memiliki varians minimum, maka perlu dibandingkan varians dengan beberapa penaksir β ˆ β ˆ β katakanlah yang tidak bias. ∗ β Misalkan , dimana konstanta ∑ = ∗ i i Y w β i i k w ≠ tetapi , sehingga : i i i c k w + = ∑ + + = ∗ i i i X w ε β α β 2.14 ∑ ∑ ∑ + + = i i i i i w X w w ε β α dan [ ] [ ] ∑ ∑ = + = ∗ karena i i i i E X w w E ε β α β Karena diasumsikan penaksir yang tak bias, berarti pada persamaan diatas dan . ∗ β ∑ = 0 i w 1 = ∑ i i X w Tetapi ∑ ∑ ∑ ∑ + = + = i i i i i c k c k w karena dan = ∑ i c = = ∑ ∑ i i w k Maka ∑ ∑ ∑ ∑ + = + = i i i i i i i i i X c X k X c k X w karena , = ∑ i i X c 1 = ∑ i i X w dan 1 = = ∑ ∑ i i i i x k X k Juga = + = ∑ ∑ ∑ i i i i i c X X c x c Telah ditunjukkan jika merupakan penaksir yang tak bias, hasil-hasil berikut berlaku : ∗ β 2.15 , ∑ = 0 i w 1 = ∑ i i X w , = ∑ i c , = = ∑ ∑ i i i i x c X c Varians dari yang diasumsikan menjadi : ∗ β [ ] 2 β β β − = ∗ ∗ E Var [ ] 2 ∑ = i i w E ε dari 2.14 ∑ = 2 2 i w σ dengan prosedur yang sama ketika mendapatkan Var β ˆ Akan tetapi ∑ ∑ ∑ ∑ ∑ + + = + = 2 2 2 2 2 i i i i i i i c c k k c k w . Sedangkan 2 2 = = = ∑ ∑ ∑ ∑ ∑ i i i i i i i i x x c x x c c k dengan 2.15 ∑ ∑ ∑ + = 2 2 2 i i i c k w Sehingga : ∑ ∑ ∑ ∑ + = + = ∗ 2 2 2 2 2 2 2 i i i i c k c k Var σ σ σ β ∑ + = ∗ 2 2 i c Var Var σ β β Karena selalu positif, maka ∑ 2 i c β β ˆ Var Var ∗ . Kecuali jika tapi tidak mungkin, maka 2 = ∑ i c ∗ β Var akan sama dengan β ˆ Var . Hal ini menunjukkkan memiliki sifat varians minimum. β ˆ Dengan cara yang sama dapat ditunjukkan bahwa konstanta intercept αˆ metode kuadrat terkecil juga memiliki varians minimum. Misalkan adalah sebuah penaksir baru yang diasumsikan fungsi linear dari dengan bobot seperti sebelumnya. ∗ α i Y i i i c k w + = Kuadrat terkecil αˆ adalah : ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = i i Y k X n 1 ˆ α dari 2.8 Dengan analogi, Y f Y k X n i i = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = ∑ ∗ 1 α Karena diinginkan agar menjadi penaksir tidak bias bagi ∗ α α , maka [ ] α α = ∗ E . Substitusikan ke dalam persamaan ∗ α i i i X Y ε β α + + = tetapi dalam notasi , dan temukan nilai harapan dari . ∗ α ∗ α ∑ ∑ ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − + − + − = ∗ i i i i i w X n X w X X w X ε β α α 1 1 [ ] [ ] [ ] i i i i i w X n E X w E X X w E X E ε β α α ∑ ∑ ∑ ⎥⎦ ⎤ ⎢⎣ ⎡ − + − + − = ∗ 1 1 Sekarang, [ ] α α = ∗ E jika dan hanya jika [ ] = i w E , [ ] n X w E i i 1 = dan [ ] = i i w E ε , yaitu jika = ∑ i w , 1 = ∑ i i X w dan = ∑ i i w ε . Syarat ini mengandung arti bahwa = ∑ i c dan = ∑ i i X c . Maka varians dari penaksir ini adalah : [ ] ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = − = ∗ ∗ 2 2 2 1 i w X n E Var σ α α α ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − + = i i w X n w X n 1 2 1 2 2 2 2 σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − + = ∑ ∑ i i w n X w X n n 1 2 2 2 2 2 σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − + = ∑ ∑ i i w X n w X n 2 1 2 2 2 σ Karena dan = ∑ i w ∑ ∑ ∑ + = 2 2 2 i i i c k w , maka : ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ + + = ∑ ∑ ∗ 2 2 2 2 1 i i c k X n Var σ α ∑ ∑ + ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + = ∗ 2 2 2 2 2 2 1 i i c X x X n Var σ σ α Komponen pertama di sebelah kanan tanda sama dengan adalah varians dari αˆ , sehingga : ∑ + = ∗ 2 2 2 ˆ i c X Var Var σ α α Akan tetapi karena tidak semua c 2 ∑ i c i adalah nol. Oleh karena itu, α α ˆ Var Var ∗ . Sehingga terbukti bahwa penaksir-penaksir kuadrat terkecil model regresi linear merupakan penaksir-penaksir yang memenuhi syarat- syarat BLU Best, Linear, Unbiased.

2.4 Asumsi