Untuk lebih jelasnya, misalkan peubah acak X tersebut tersebar normal dengan nilai tengah
dan varians , dimana
dan tidak diketahui sehingga fungsi
kemungkinannya adalah:
Tujuan utama dari analisis regresi adalah mendapatkan dugaan
estimation
dari suatu variabel dengan menggunakan variabel lain yang diketahui.
2.3.1 Maksimum Likelihood dalam Regresi Linier Sederhana
Maksimum Likelihood adalah metode yang dapat digunakan untuk mengestimasi suatu parameter dalam regresi.
Dalam model regresi linear sederhana, berdasarkan data diasumsikan bahwa galat dalam model regresi berdistribusi
dengan pengamatan – pengamatan
dalam percobaan berdistribusi normal dan independen, dengan mean
dan variansnya . Maka fungsi kemungkinan
nilai pertama Y adalah: 2.7
Kemudian kemungkinan nilai kedua Y sama dengan persamaan 2.7, kecuali angka satu diganti dengan dua dan seterusnya untuk semua nilai Y amatan lainnya.
Untuk nilai Y bebas dengan mengalikan semua kemungkinan bersama, maka fungsi probabilitas bersamanya adalah:
Dengan menyatakan hasil kali n kemungkinan bersama untuk setiap nilai
i
yang
Universitas Sumatera Utara
penggunaannya dikenal untuk eksponensial, sehingga persamaan 2.8 dapat diperlihatkan dengan penjumlahan eksponensial yaitu:
Mengingat yang diberikan dipertimbangkan untuk berbagai nilai
dan ,
sehingga fungsi likelihoodnya yaitu:
Estimator fungsi kemungkinan maksimum untuk parameter – parameter
dan dinotasikan dengan
dan diperoleh dengan memaksimumkan L,
sehingga:
ln maksimum bila minimum, ini merupakan jumlah kuadrat error
Dengan mendifferensialkan fungsi kemungkinannya terhadap setiap parameter dan estimator
harus memenuhi:
Penyelesaian dari persamaan tersebut adalah: 2.12
Universitas Sumatera Utara
dan adalah estimator untuk
intercept
titik potong dan
slope
kemiringan. Sehingga diperoleh estimator model regresi linier sederhananya adalah:
2.14
Selain estimator dan
, menurut Kutner, M.H 1990 estimasi juga
dibutuhkan dalam uji hipotesis dan pembentukan estimasi yang berhubungan dengan model regresi. Dengan mendifferensialkan fungsi kemungkinannya terhadap
parameter dan estimator
juga harus memenuhi:
Maka, penyelesaian dari persamaan tersebut adalah:
Dengan adalah standard error regresi atau dapat juga dituliskan:
SSE
Sum Square of Error
adalah jumlah kuadrat residual dan p
enduga ini bias
.
Jumlah kuadrat residual mempunyai derajat kebebasan , karena dua
derajat kebebasan adalah gabungan dari estimasi dan
yang terlibat dalam pembentukan
Sehingga estimator tak bias dari adalah :
7
Pendugaan estimasi yang dilakukan dengan Metode Kemungkinan Maksimum untuk memperoleh estimatornya, tentu saja tidak lepas dari kesalahan
error baik itu sedikit maupun banyak. Namun dengan metode kemungkinan maksimum, kesalahan penduga dijamin yang terkecil karena
estimasi dengan metode ini akan meminimumkan jumlah kudrat errornya dengan ketentuan memenuhi beberapa
asumsi. Asumsi – asumsi tersebut biasanya disebut dengan asumsi klasik regresi linier.
Universitas Sumatera Utara
Dengan demikian d
alam melakukan analisis regresi diberlakukan asumsi –
asumsi model ideal tertentu terhadap galat
, yaitu:
1. Nilai rata – rata kesalahan pengganggu nol, yaitu:
, untuk .
2. adalah konstan untuk semua kesalahan pengganggu
asumsi homoskedastisitas. 3.
Tidak ada korelasi serial
autocorrelation
antara pengganggu
, berarti
kovarian .
4. Peubah bebas
konstan dalam sampling yang terulang dan bebas terhadap kesalahan pengganggu
. 5.
Tidak ada multikolinearitas antar variabel bebas X.
2.4 Heteroskedastisitas
