2.2.2 Maksimum Likelihood dalam Multiple Regresi
Maksimum likelihood adalah metode yang dapat digunakan untuk mengestimasi suatu parameter dalam regresi.
Jika X dikurangi dengan rata-ratanya, maka akan diperoleh variabel baru x
X X
x
i i
− =
dan selisih antara
i
X dengan X merupakan perhitungan yang sederhana karena jumlah dari nilai
i
x tersebut adalah sama dengan nol
=
∑
= 1
n i
i
x .
Dan persamaan multiple regresinya menjadi: ε
β β
β +
+ +
+ =
k k
i
x x
Y
1 1
2.7 dimana:
Y
i
x = variabel terikat ke-i
1i
,…, x
ki
pengamatan ke-i = selisih antara variabel bebas X dengan nilai rata-ratanya pada
k
β β
β ,...,
,
1
= parameter regresi
ε
= nilai kesalahan error
Teknik estimasi maksimum likelihood mempertimbangkan berbagai populasi yang mungkin dengan perpindahan garis regresi dan regresi tersebut mengelilingi
distribusi untuk semua posisi yang mungkin. Perbedaan posisi yang berhubungan dengan perbedaan nilai percobaan untuk
k
β β
β ,...,
,
1
. Dalam hal ini, pengamatan likelihood Y
1
, Y
2
,…, Y
n
akan di estimasi. Untuk estimasi maksimum likelihood
Universitas Sumatera Utara
dipilih hipotesis populasi yang maksimum dalam likelihood. Secara umum, andaikan peneliti mempunyai sampel berukuran n dan peneliti ingin mengetahui kemungkinan
sampel yang diamati. Diperlihatkan fungsi nilai kemungkinan untuk
k
β β
β ,...,
,
1
:
k n
Y Y
Y p
β β
β ,...,
, ,...,
,
1 2
1
2.8
Mengingat kemungkinan nilai pertama Y adalah:
2 1
1 1
2 1
1
2 1
+ +
+ −
−
=
σ β
β β
π σ
ki k
i
x x
Y
e Y
p
2.9
Hal di atas adalah distribusi normal sederhana dengan rata-rata
ki k
i
x x
β β
β +
+ +
1 1
dan varians
2
σ yang disubstitusi ke dalam
2
2 1
2 1
−
−
=
σ µ
π σ
x
e x
p
. Kemungkinan nilai kedua Y sama dengan 2.9, kecuali angka satu diganti dengan dua dan seterusnya untuk semua nilai Y amatan lainnya.
Untuk nilai Y bebas dengan mengalikan semua kemungkinan bersama dalam 2.8, dimana:
k n
Y Y
Y p
β β
β ,...,
, ,...,
,
1 2
1
=
+ +
+ −
−
+
+ +
− −
2 1
1 2
2 1
1 1
2 1
2 1
2 1
2 1
σ β
β β
σ β
β β
π σ
π σ
ki k
i ki
k i
x x
Y x
x Y
e e
Universitas Sumatera Utara
∏
=
+
+ +
− −
=
n i
x x
Y
ki k
i i
e
1 2
1
2 1
1
2 1
σ β
β β
π σ
2.10
Dengan
∏
= n
i 1
menyatakan hasil kali n kemungkinan bersama untuk nilai Y
i
yang penggunaannya dikenal untuk eksponensial. Hasil 2.10 dapat diperlihatkan dengan penjumlahan eksponen:
2 1
1 1
2 1
1 2
1
2 1
,..., ,
,..., ,
∑
+
+ +
− −
=
=
n i
ki k
i i
x x
Y n
k n
e Y
Y Y
p
σ β
β β
π σ
β β
β
2.11
Mengingat Y
i k
β β
β ,...,
,
1
amatan yang diberikan dipertimbangkan untuk berbagai nilai . Sehingga persamaan 2.11 dinamakan fungsi likelihood:
∑ =
=
− −
− −
−
n i
ki k
i i
x x
Y n
k
e L
1 2
1 1
2 1
1
2 1
,..., ,
σ β
β β
π σ
β β
β
2.12
dimana:
k
L β
β β
,..., ,
1
= fungsi maksimum likelihood pada parameter
k
β β
β ,...,
,
1
σ = parameter yang merupakan simpangan baku untuk distribusi
π = nilai konstan
π = 3,1416 n
= banyak data sampel e
= bilangan konstan e = 2,7183 Y
i
= variabel terikat ke-i
Universitas Sumatera Utara
i
β = parameter regresi ke-i
Dari persamaan 2.12 diperoleh ln L
k
β β
β ,...,
,
1
, yaitu:
∑
=
− −
− −
− −
− =
= Λ
n i
ki k
i i
k
x x
Y n
n L
1 2
1 1
1
2 1
ln 2
ln 2
,..., ,
ln
σ β
β β
σ π
β β
β
2.13
Dengan mendifferensialkan Λ terhadap setiap parameter
k
β β
β ,...,
,
1
dan menetapkan derivatif parsial yang dihasilkan sama dengan nol, diperoleh:
∑
=
= Χ
+ Χ
+ Χ
+ +
Υ −
− =
∂ Λ
∂
n i
i i
i i
1 3
3 2
2 1
1 2
2 2
2 2
2 2
1 β
β β
β σ
β
∑
=
= Χ
+ Χ
+ Χ
+ +
Υ −
− =
n i
i i
i i
1 3
3 2
2 1
1 2
1
β β
β β
σ
∑
=
= Χ
+ Χ
+ Χ
+ +
Υ −
=
n i
i i
i i
1 3
3 2
2 1
1
β β
β β
∑
=
= Χ
+ Χ
+ Χ
+ +
Υ −
=
n i
i i
i i
1 3
3 2
2 1
1
β β
β β
∑ ∑
∑ ∑
∑
= =
= =
=
= Χ
+ Χ
+ Χ
+ +
Υ =
n i
n i
i n
i n
i i
i n
i i
1 3
3 2
2 1
1
β β
β β
asumsikan
∑
= Χ 0
i
∑
= +
Υ =
β n
i
−
Υ =
Υ =
∑
n
i
β 2.14
3 3
2 2
1 1
= Χ
+ Χ
+ Χ
+ +
Υ =
∑ ∑
∑ ∑
= =
= n
i i
n i
i n
i i
i
n
β β
β β
Universitas Sumatera Utara
∑
Χ Χ
+ Χ
Χ +
Χ +
Χ +
Χ Υ
− −
= ∂
Λ ∂
i i
i i
i i
i i
1 3
3 1
2 2
2 1
1 1
1 2
1
2 2
2 2
2 2
1
β β
β β
σ β
{ }
∑
Χ Χ
+ Χ
Χ +
Χ +
Χ +
Χ Υ
− −
=
i i
i i
i i
i i
1 3
3 1
2 2
2 1
1 1
1 2
2 2
1
β β
β β
σ
{ }
∑ ∑
∑ ∑
∑
Χ +
Χ Χ
+ Χ
Χ +
Χ +
Χ Υ
− −
− =
2 1
1 1
3 3
1 2
2 1
1 2
1
i i
i i
i i
i i
β β
β β
σ Asumsikan
∑
= Χ
ki
∑ ∑
∑ ∑
∑
Χ +
Χ Χ
+ Χ
Χ +
Χ +
Χ Υ
− =
2 1
1 1
3 3
1 2
2 1
1 i
i i
i i
i i
i
β β
β β
2.15
∑
Χ Χ
+ Χ
+ Χ
Χ +
Χ +
Χ Υ
− −
= ∂
Λ ∂
i i
i i
i i
i i
2 3
3 2
2 2
2 1
1 2
2 2
2
2 2
2 2
2 2
1
β β
β β
σ β
{ }
∑
Χ Χ
+ Χ
Χ +
Χ +
Χ +
Χ Υ
− −
=
i i
i i
i i
i i
2 3
3 1
2 1
2 2
2 2
2 2
2 2
1
β β
β β
σ
{ }
∑ ∑
∑ ∑
∑
Χ Χ
+ Χ
Χ +
Χ +
Χ +
Χ Υ
− −
− =
i i
i i
i i
i i
2 1
1 2
3 3
2 2
2 2
2 2
1
β β
β β
σ Asumsikan
∑
= Χ
ki
∑ ∑
∑ ∑
∑
Χ +
Χ Χ
+ Χ
Χ +
Χ +
Χ Υ
− =
2 2
2 2
3 3
1 2
1 2
2 i
i i
i i
i i
i
β β
β β
2.16 .
.
Universitas Sumatera Utara
.
∑ ∑
∑ ∑
∑ ∑
Χ Χ
+ +
Χ +
+ Χ
Χ +
Χ Χ
+ Χ
+ Χ
Υ −
= ∂
Λ ∂
ji ki
k ji
j ji
i ji
i ji
ji i
j
β β
β β
β β
... ...
2 2
2 1
1
k j
, ...
, 3
, 2
, 1
=
2.17
Maka hasil yang diperoleh dari penurunan parsial di atas dapat dihitung nilai parameter
k
β β
β ˆ
, ,
ˆ ,
ˆ
1
.
Universitas Sumatera Utara
BAB 3
PEMBAHASAN
3.1 Estimasi Parameter Menggunakan Maksimum Likelihood
Kategori