Estimasi Parameter

7.2. Estimasi Parameter

Dalam kenyataan, kita hanya memiliki pasangan-pasangan data (X i ,Y i ) un- tuk i = 1, 2, · · · , n. Dari data yang kita miliki kita ingin mengestimasi regesi populasi maupun sebaran simpangan datanya. Maka parameter yang men-

UNEJ

jadi kepentingan utama dalam regresi sederhana di atas adalah komponen

dari koefisien regresi β =

. Parameter lain yang juga perlu diesti-

Daftar Isi

β 1 masi adalah komponen variasi σ 2 . Sebagaimana telah disebutkan sebelumnya

ada dua metode yang akan digunakan dalam mengestimasi parameter yaitu Judul metode kuadrat terkecil dan metode kecenderungan (likelihood) maksimum.

7.2.1. Estimasi dengan Metode Kuadrat Terkecil

Hal. 198 dari 234

Seperti telah diuraikan pada Bab 1, bahwa dengan metode kuadrat terkecil, secara geometris kita mencari garis sedemikian sehingga kesalahan (selisih or-

Cari Halaman

dinat titik terhadap garis) menjadi minimum. Untuk mengakomodasi tanda positif dan negatif, maka yang diminimumkan adalah jumlah kuadrat selisih

Kembali

ordinat tadi. Untuk mengestimasi parameter dengan menggunakan metode kuadrat terkecil maka ditempun langkah-langkah berikut ini.

Layar Penuh

1. Karena yang akan diminimumkan adalah kesalahan, maka langkah per-

tama yang harus dilakukan adalah mengubah model linier menjadi ek- Tutup splisit terhadap kesalahan. Dari bentuk model pada persamaan ( 7.1 ),

Keluar Keluar

2. Mengkuadratkan kesalahan yang diperoleh serta menjumlahkannya un- tuk seluruh pasangan data. Dari bentuk tersebut diperoleh bentuk jumlah kuadrat kesalahan sebagai berikut Daftar Isi

Dalam hal ini X i0 = 1 dan X i1 =X i .

Hal. 199 dari 234

3. Menurunkan bentuk kuadrat yang diperoleh terhadap parameter yang menjadi kepentingan. Estimasi dengan metode kuadrat terkecil diproses

Cari Halaman

dengan mencari minimum Q terhadap β j . Minimum dari Q terhadap diperoleh dengan mencari turunan pertama maupun ke dua

Kembali

∂Q n X

∂β Layar Penuh

∂Q n X = −2 Tutup [Y

i − (β 0 +β 1 X i )] X i

∂β 1 i=1

Keluar

4. Menyusun persamaan normal yang diperoleh dari sistem persamaan ∂Q/∂β j = 0. Dari hasil sebelumnya diperoleh persamaan normal

Daftar Isi

Persamaan normal di atas selanjutnya dapat disederhanakan menjadi

Hal. 200 dari 234 i=1

i=1

i=1

Cari Halaman

5. Dari persamaan normal ( 7.6a ) di atas diperoleh

i=1 Layar Penuh

Hasil persamaan ( 7.7 ) ini selanjutnya disubstitusikan pada persamaan

Keluar Keluar

P X i ) 2 (7.8a)

X Daftar Isi i Y i −¯ X Y i

(7.8c)

X i 2 −n¯ X P Judul

X X 2 P¯ X i 2 =

Mengingat bahwa

X 2 i 2 −¯ X = − i −n ¯ X , maka

Hal. 201 dari 234

Sebagaimana telah disampaikan bahwa metode kuadrat terkecil belum

memanfaatkan informasi distribusi dari ǫ i . Oleh karena itu apabila σ 2 tidak

Cari Halaman

diketahui, tidak ada cara khusus dengan metode kuadrat terkecil untuk

mengestimasi σ 2 . Namun, σ 2 biasa diestimasi dari rata-rata kuadrat deviasi

Kembali

data terhadap garis regresi yang diperoleh dari ˆ β j . Derajat kebebasan yag dimiliki oleh deviasi ini adalah n − k dimana k adalah banyaknya penduga

β Layar Penuh

j . Jadi untuk model dengan dua parameter β 0 dan β 1 , maka

σ Tutup =s

Y i −(ˆ β 0 +ˆ β 1 X i )

n−2 i=1

Keluar

7.2.2. Estimasi dengan Metode Likelihood Maksimum

Sesuai dengan prinsip model linier normal, maka setiap peubah respon Y i merupakan sample dari peubah acak yang berdistribusi normal dan saling

i UNEJ 0 1 i i ∼ N (E(Y ), σ 2 i ). Dengan demikian kita peroleh seperti berikut ini.

independen dengan mean E(Y 2 )=β +β X dan varians σ , yaitu Y

Daftar Isi

1. Likelihood Y i adalah

Hal. 202 dari 234

2. Likelihood dari Y = (Y Cari Halaman 1 ,Y T

2 ,···,Y i ,···,Y n ) yang komponennya sa-

ling bebas adalah

Kembali

L=

Layar Penuh

i=1

1 1 X Y i −β 0 −β 1 X i

= Tutup √ exp − .

2 i=1

Keluar

Log-likelihood l = log L adalah

i=1 Daftar Isi

Judul

Selanjutnya turunan l terhadap β

0 ,β 1 dan σ diperoleh sebagai berikut

Hal. 203 dari 234

Cari Halaman

∂β Layar Penuh

= 2 (Y i −β 0 −β 1 X i )X i

1 σ i=1

∂l n n 1 X

2 =− 2 + 4 (Y i −β 0 −β 1 X i ) ∂σ . 2σ 2σ

2 Tutup

i=1

Keluar

Dari persamaan di atas diperoleh persamaan normal untuk β 0 dan β 1 identik dengan persamaan normal ( 7.5 ). Selanjutnya dari ∂l/∂σ 2 = 0 diperoleh

sehingga penduga kemungkinan maksimum untuk σ 2 adalah

Daftar Isi

σ ˆ 2 1 = 2 (Y i −β 0 −β 1 X i ) .

n Judul

i=1

◭◭ ◭ ◮ Sebenarnya estimasi σ ◮◮ di atas berlaku untuk kondisi β 0 ,β 1 atau µ yang diketahui. Jika tidak diketahui, maka penduga di atas akan menjadi bias.

Untuk menghilangkan bias maka pembaginya (derajat kebebasannya) harus

Hal. 204 dari 234

dikurangi sebesar banyaknya parameter yang harus diestimasi sebelummnya. Dalam kasus model sederhana yang kita bahas, banyaknya parameter ada 2

yaitu (β Cari Halaman

0 ,β 1 ). Dengan demikian derajat kebebasannya menjadi n − 2 dan bentuk penduga σ untuk penduga llikelihood seteleh disesuaikan manjadi

Layar Penuh

Tutup

Keluar