Estimasi Parameter
7.2. Estimasi Parameter
Dalam kenyataan, kita hanya memiliki pasangan-pasangan data (X i ,Y i ) un- tuk i = 1, 2, · · · , n. Dari data yang kita miliki kita ingin mengestimasi regesi populasi maupun sebaran simpangan datanya. Maka parameter yang men-
UNEJ
jadi kepentingan utama dalam regresi sederhana di atas adalah komponen
dari koefisien regresi β =
. Parameter lain yang juga perlu diesti-
Daftar Isi
β 1 masi adalah komponen variasi σ 2 . Sebagaimana telah disebutkan sebelumnya
ada dua metode yang akan digunakan dalam mengestimasi parameter yaitu Judul metode kuadrat terkecil dan metode kecenderungan (likelihood) maksimum.
7.2.1. Estimasi dengan Metode Kuadrat Terkecil
Hal. 198 dari 234
Seperti telah diuraikan pada Bab 1, bahwa dengan metode kuadrat terkecil, secara geometris kita mencari garis sedemikian sehingga kesalahan (selisih or-
Cari Halaman
dinat titik terhadap garis) menjadi minimum. Untuk mengakomodasi tanda positif dan negatif, maka yang diminimumkan adalah jumlah kuadrat selisih
Kembali
ordinat tadi. Untuk mengestimasi parameter dengan menggunakan metode kuadrat terkecil maka ditempun langkah-langkah berikut ini.
Layar Penuh
1. Karena yang akan diminimumkan adalah kesalahan, maka langkah per-
tama yang harus dilakukan adalah mengubah model linier menjadi ek- Tutup splisit terhadap kesalahan. Dari bentuk model pada persamaan ( 7.1 ),
Keluar Keluar
2. Mengkuadratkan kesalahan yang diperoleh serta menjumlahkannya un- tuk seluruh pasangan data. Dari bentuk tersebut diperoleh bentuk jumlah kuadrat kesalahan sebagai berikut Daftar Isi
Dalam hal ini X i0 = 1 dan X i1 =X i .
Hal. 199 dari 234
3. Menurunkan bentuk kuadrat yang diperoleh terhadap parameter yang menjadi kepentingan. Estimasi dengan metode kuadrat terkecil diproses
Cari Halaman
dengan mencari minimum Q terhadap β j . Minimum dari Q terhadap diperoleh dengan mencari turunan pertama maupun ke dua
Kembali
∂Q n X
∂β Layar Penuh
∂Q n X = −2 Tutup [Y
i − (β 0 +β 1 X i )] X i
∂β 1 i=1
Keluar
4. Menyusun persamaan normal yang diperoleh dari sistem persamaan ∂Q/∂β j = 0. Dari hasil sebelumnya diperoleh persamaan normal
Daftar Isi
Persamaan normal di atas selanjutnya dapat disederhanakan menjadi
Hal. 200 dari 234 i=1
i=1
i=1
Cari Halaman
5. Dari persamaan normal ( 7.6a ) di atas diperoleh
i=1 Layar Penuh
Hasil persamaan ( 7.7 ) ini selanjutnya disubstitusikan pada persamaan
Keluar Keluar
P X i ) 2 (7.8a)
X Daftar Isi i Y i −¯ X Y i
(7.8c)
X i 2 −n¯ X P Judul
X X 2 P¯ X i 2 =
Mengingat bahwa
X 2 i 2 −¯ X = − i −n ¯ X , maka
Hal. 201 dari 234
Sebagaimana telah disampaikan bahwa metode kuadrat terkecil belum
memanfaatkan informasi distribusi dari ǫ i . Oleh karena itu apabila σ 2 tidak
Cari Halaman
diketahui, tidak ada cara khusus dengan metode kuadrat terkecil untuk
mengestimasi σ 2 . Namun, σ 2 biasa diestimasi dari rata-rata kuadrat deviasi
Kembali
data terhadap garis regresi yang diperoleh dari ˆ β j . Derajat kebebasan yag dimiliki oleh deviasi ini adalah n − k dimana k adalah banyaknya penduga
β Layar Penuh
j . Jadi untuk model dengan dua parameter β 0 dan β 1 , maka
σ Tutup =s
Y i −(ˆ β 0 +ˆ β 1 X i )
n−2 i=1
Keluar
7.2.2. Estimasi dengan Metode Likelihood Maksimum
Sesuai dengan prinsip model linier normal, maka setiap peubah respon Y i merupakan sample dari peubah acak yang berdistribusi normal dan saling
i UNEJ 0 1 i i ∼ N (E(Y ), σ 2 i ). Dengan demikian kita peroleh seperti berikut ini.
independen dengan mean E(Y 2 )=β +β X dan varians σ , yaitu Y
Daftar Isi
1. Likelihood Y i adalah
Hal. 202 dari 234
2. Likelihood dari Y = (Y Cari Halaman 1 ,Y T
2 ,···,Y i ,···,Y n ) yang komponennya sa-
ling bebas adalah
Kembali
L=
Layar Penuh
i=1
1 1 X Y i −β 0 −β 1 X i
= Tutup √ exp − .
2 i=1
Keluar
Log-likelihood l = log L adalah
i=1 Daftar Isi
Judul
Selanjutnya turunan l terhadap β
0 ,β 1 dan σ diperoleh sebagai berikut
Hal. 203 dari 234
Cari Halaman
∂β Layar Penuh
= 2 (Y i −β 0 −β 1 X i )X i
1 σ i=1
∂l n n 1 X
2 =− 2 + 4 (Y i −β 0 −β 1 X i ) ∂σ . 2σ 2σ
2 Tutup
i=1
Keluar
Dari persamaan di atas diperoleh persamaan normal untuk β 0 dan β 1 identik dengan persamaan normal ( 7.5 ). Selanjutnya dari ∂l/∂σ 2 = 0 diperoleh
sehingga penduga kemungkinan maksimum untuk σ 2 adalah
Daftar Isi
σ ˆ 2 1 = 2 (Y i −β 0 −β 1 X i ) .
n Judul
i=1
◭◭ ◭ ◮ Sebenarnya estimasi σ ◮◮ di atas berlaku untuk kondisi β 0 ,β 1 atau µ yang diketahui. Jika tidak diketahui, maka penduga di atas akan menjadi bias.
Untuk menghilangkan bias maka pembaginya (derajat kebebasannya) harus
Hal. 204 dari 234
dikurangi sebesar banyaknya parameter yang harus diestimasi sebelummnya. Dalam kasus model sederhana yang kita bahas, banyaknya parameter ada 2
yaitu (β Cari Halaman
0 ,β 1 ). Dengan demikian derajat kebebasannya menjadi n − 2 dan bentuk penduga σ untuk penduga llikelihood seteleh disesuaikan manjadi
Layar Penuh
Tutup
Keluar