C. Pendugaan Model dengan Metode Kuadrat Terkecil
1. Metode Kuadrat Terkecil
Prosedur untuk menduga parmeter dari model linear sederhana dengan menggunakan metode kuadrat terkecil dapat diilustrasikan
secara sederhana dengan garis lurus yang seharusnya melewati himpunan titik- titik data. Misalkan dengan model
dipetakan menjadi himpunan titik data yang ditunjukkan oleh
Gambar 2.1 . Variabel bebas x bisa saja
atau
⁄
atau , dan
juga untuk setiap variabel bebas w yang lain. Dengan demikian di dalilkan bahwa
dengan yang di dalamnya memiliki distribusi probabilitas dan
E =0. Jika
̂ dan ̂ adalah penduga dari parameter
, maka jelas
̂ ̂
̂ adalah penduga dari EY.
Gambar 2.1
Prosedur metode kuadrat terkecil untuk garis yang melewati himpunan n titik data adalah serupa dengan metode membuat garis
yang cocok dengan tebaran titik-titik. Itulah sebabnya, diharapkan
secara umum, selisih antara nilai yang diamati dan titik yang bersesuai
an pada garis akan “kecil”. Cara yang cocok untuk menyelesaikan masalah ini adalah dengan meminimumkan jumlah
kuadrat dari selisih vertikal ̂ atau galat lihat selisih yang
ditandai oleh garis vertikal pada Gambar 2.1. Idealnya garis lurus
mendekati himpunan titik-titik data. Dengan demikian
2.3 dapat diduga dengan
̂ ̂
̂ 2.4
̂ adalah nilai prediksi y ke i pada x = . Maka selisih galat dari
nilai pengamatan adalah selisih
̂ dan jumlah kuadrat dari galat yang diminimumkan adalah
∑ ̂
∑ ̂
2.5 Dengan mensubtitusikan persamaan 2.4 didapatkan persamaan
berikut ∑
̂ ∑
̂ ̂
2.6 Tujuan metode kuadrat terkecil adalah menentukan penduga
dari yaitu
̂ dan ̂ sehingga meminimumkan jumlah
kuadrat galat yang diduga dengan
̂ . Dengan mnggunakan proses pendiferensialan
∑ ̂
∑ ̂
̂
2.7
∑ ̂
̂ ∑
∑ ̂
̂ ∑
∑ ̂
̂ ∑ 2.8
Dan ̂
∑ ̂ ∑
̅ ̂ ̅
2.9
∑ ̂
{∑ ̂
̂ }
2.10
∑ ̂ ∑
̂ ∑
∑ ̂ ∑
̂ ∑
∑ ̂ ∑
̂ ∑ 2.11
Dengan mensubtitusikan persamaan 2.9, didapatkan ∑
̂ ∑ ̂ ∑
∑ ̅
̂ ̅ ∑ ̂ ∑
∑ ∑
̂ ∑
∑ ̂ ∑
Setelah disederhanakan didapatkan penyelesaian
̂
∑ ̅
̅ ∑
̅
Bila ∑
̅ ̅
disimbolkan dengan Sxy dan ∑
̅ disimbolkan dengan Sxx, maka
̂ .
2.12 Dalam menduga
, untuk model regresi linear berganda, mengikuti persamaan 2.2 maka dapat ditulis notasi
matriksnya sebagai berikut:
[ ]
Dengan menggunakan persamaan 2.2 diketahui bahwa
∑ Sehingga
∑ ∑
∑
Dengan meminimalkan nilai
∑
terhadap ,
... . Misal
̂ ̂
̂
adalah penduga kuadrat terkecil. Penduga kuadrat terkecil tersebut harus memenuhi
∑
∑ ∑
2.13 dan
∑
∑ ∑
2.14 Penyederhanaan persamaan 2.13 dan 2.14 dan mensubstitusikan
̂ ̂
̂
Sebagai solusi, menghasilkan ̂
̂ ∑ ̂ ∑
̂ ∑ ∑
̂ ∑ ̂ ∑
̂ ∑ ̂ ∑
∑
̂ ∑ ̂ ∑
̂ ∑ ̂
∑
∑
2.15 Persamaan 2.15 dapat ditulis dalam bentuk matriks sebagai berikut
[ ∑
∑ ∑
∑ ∑
∑ ∑
∑ ∑
∑ ∑
] [
̂ ̂
̂ ] [
∑ ∑
∑ ]
Ini berarti
̂
Dengan
[ ], [
]
[ ]
, dan
[ ]
Ditemukanlah penyelesaian untuk mencari ̂
̂ .
2.16
.Contoh 2.1
Berdasarkan data berikut, akan ditentukan penduga dan
dengan model
Solusi
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
Langkah mencari :
| |
⁄
| ⁄
⁄
| ⁄
⁄ ⁄
⁄
| ⁄
⁄ ⁄
⁄ ⁄
Dan didapatkan
[ ⁄
⁄ ⁄
⁄ ⁄
]
Sehingga didapatkan ̂
̂ [ ⁄
⁄ ⁄
⁄ ⁄
] [ ]
[ ⁄
⁄ ⁄ ]
[ ]
̂= , ̂= dan
̂= , sehingga penduga modelnya
adalah
̂
2. Sifat-sifat Penduga Metode Kuadrat Terkecil untuk Regresi
Kategori