5
BAB II REGRESI LINEAR
A. Metode Maksimum Likelihood
Dari suatu pengamatan, sejumlah pendekatan dapat diambil untuk memperoleh suatu penduga. Salah satu metode untuk memperoleh sebuah penduga adalah metode
maximum likelihood ML . Misalkan
n
Χ Χ
Χ ,
,
2 1
L
nilai yang diobservasi dalam suatu sampel random yang besarnya n . Maka fungsi likelihood sampel tersebut adalah
2.1 ;
f ;
f ;
f ;
f ;
, ,
,
n 1
i i
n 2
1 2
1
∏
=
Χ =
Χ Χ
Χ =
Χ Χ
Χ =
β β
β β
β β
L L
n
f L
dengan
β
adalah suatu parameter yang tidak diketahui.
β L
adalah fungsi likelihood untuk
β
, dengan
n
Χ Χ
Χ ,
, ,
2 1
L tetap fixed. Penduga Maximum Likelihood untuk
parameter
β
adalah nilai
βˆ
yang memaksimumkan fungsi likelihood
β L
.
Contoh 2.1:
Suatu eksperimen Binomial terdiri dari n percobaan yang menghasilkan observasi
n i
Χ Χ
Χ Χ
, ,
, ,
,
2 1
K K
dengan
1 =
Χ
i
jika percobaan sukses dan
= Χ
i
jika percobaan gagal. Dengan menggunakan metode maximum likelihood carilah
pˆ
sebagai penduga dari parameter p.
Jawab:
X n
X
p p
p L
−
− =
1
dengan
∑
=
Χ =
n i
i
X
1
banyaknya sukses. Nilai pˆ dicari dengan menurunkan
p L
terhadap p
kemudian menyamakannya dengan nol. Untuk mencari turunan
p L
lebih baik diambil lognya ln = log dengan bilangan pokok e.
X np
Xp np
Xp X
p X
n p
X p
X n
p X
p X
n p
X p
X n
p X
dp p
L d
p X
n p
X p
L
= −
= −
− =
− −
− =
⎟⎟ ⎠
⎞ ⎜⎜
⎝ ⎛
− −
− +
⎟⎟ ⎠
⎞ ⎜⎜
⎝ ⎛
= ⎟⎟
⎠ ⎞
⎜⎜ ⎝
⎛ −
− −
+ ⎟⎟
⎠ ⎞
⎜⎜ ⎝
⎛ =
− −
+ =
1 1
1 1
1 1
1 1
ln 1
ln ln
ln
Nilai p yang membuat p
L maksimum ialah
X n
X n
X p
i
= =
=
∑
dengan
1 =
Χ
i
jika percobaan sukses dan
= Χ
i
jika percobaan gagal. Jadi penduga parameter p dengan menggunakan metode maximum likelihood ialah
n X
p =
B. Model Regresi Linear Sederhana
Istilah regresi diperkenalkan oleh Francis Galton yang membandingkan tinggi badan anak laki-laki dengan tinggi badan ayahnya. Galton menunjukkan bahwa tinggi
badan anak laki-laki dari ayah yang tinggi, setelah beberapa generasi cenderung mundur regressed mendekati tinggi rata-rata seluruh populasi. Dengan kata lain, anak
laki-laki dari ayah yang badannya sangat tinggi cenderung lebih pendek daripada
ayahnya, sedangkan anak laki-laki dari ayah yang badannya sangat pendek cenderung lebih tinggi daripada ayahnya.
Suatu fungsi dikatakan linear dalam parameter
β
jika
β
hanya dengan pangkat satu dan tidak dikalikan atau dibagi dengan parameter lain dan
β
berderajat satu. Suatu fungsi dikatakan linear dalam variabel X jika X hanya dengan pangkat satu dan tidak
dikalikan atau dibagi dengan variabel lain dan fX merupakan fungsi polynomial berderajat satu. Dari penafsiran linearitas tersebut, linearitas dalam parameter dapat
mengikuti perkembangan teori regresi. Jadi istilah regresi linear akan selalu berarti suatu regresi yang linear dalam parameter
β
, mungkin linear atau tidak dalam variabel yang menjelaskan X. Persamaan regresi adalah persamaan matematik yang
memungkinkan untuk meramalkan nilai-nilai suatu variabel tak bebas dari nilai-nilai satu atau lebih variabel bebas. Beberapa contoh model regresi yang termasuk model
regresi linear adalah 1.
i i
i
ε β
β +
Χ +
= Υ
1
2.
i i
i
ε β
β +
Χ +
= Υ
1
1
3.
i i
i
ε β
β +
Χ +
= Υ
2 1
Suatu regresi akan membicarakan masalah pendugaan atau peramalan nilai variabel tak bebas
Υ
berdasarkan variabel bebas
Χ
. Variabel tak bebas diasumsikan bersifat statistik yaitu bahwa variabel tak bebas diambil dari sampel bukan dari
populasi dan random yaitu suatu variabel yang nilainya ditentukan oleh hasil suatu eksperimen acak. Variabel bebas diasumsikan nir-stokastik mempunyai nilai yang
tetap dalam pengambilan sampel berulang yaitu variabel bebas mengambil nilai yang sama dalam berbagai sampel.
Model regresi dari pengamatan
i i
Υ Χ ,
dalam sampel akan memenuhi persamaan
i i
i
ε β
β +
Χ +
= Υ
1
2.2 dengan:
= Υ
i
variabel tak bebas,
n i
, ,
2 ,
1 K
= =
Χ
i
variabel bebas,
n i
, ,
2 ,
1 K
= =
β
koefisien regresi
Χ
terhadap
Υ
=
i
ε nilai error galat Asumsi-asumsi regresi linear menurut Gauss:
a. Model regresi adalah linear dalam parameter
b.
i
ε berdistribusi normal untuk setiap i c.
i
ε mempunyai rata-rata 0 untuk setiap i d.
Variansi dari
2
σ ε =
i
untuk semua
i
x
homokedastisitas e.
Kovariansi
i
ε
dan
j
ε
,
j i
≠
adalah 0 f.
Variabel-variabel bebas adalah variabel yang nir-stokastik mempunyai nilai yang tetap
i E
i i
∀ Χ
= Χ
,
Akibat dari asumsi d dan asumsi c yaitu:
[ ]
2 2
2 2
2 2
2
,
σ ε
ε σ
ε ε
ε σ
ε
= −
= −
= ∀
=
i i
i i
i i
E E
E E
Var i
Var
Asumsi e dikenal sebagai asumsi tidak adanya korelasi berurutan atau tidak ada autokorelasi non autokorelasi. Asumsi ini mengakibatkan nilai
j i
E E
ε ε
dan
saling bebas, hal ini ditunjukkan dalam penjabaran berikut ini:
[ ]
[ ]
[ ]
,
= =
= +
− −
= +
− −
= −
− =
j i
j i
j i
j i
i j
j i
j i
j j
i i
j i
E E
E E
E E
E E
E E
E E
Cov
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
ε ε
Akibat dari asumsi f adalah:
i
Υ
berdistribusi normal untuk setiap i dengan nilai harapan dan variansi:
i i
i i
i i
i
E E
E E
Y E
Χ +
= +
Χ +
= +
Χ +
= +
Χ +
=
1 1
1 1
β β
β β
ε β
β ε
β β
2 2
1 1
1
var var
var var
var var
σ β
ε β
β ε
β β
+ Χ
+ =
+ Χ
+ =
+ Χ
+ =
i i
i i
i i
Y
Bagian
i
Χ var
adalah var
2 2
2
= =
Χ −
Χ =
Χ −
Χ =
Χ
E E
E E
i i
i i
i
Substitusikan var
= Χ
i
ke Persamaan diatas menjadi
2 2
2 1
var σ
σ β
= +
⋅ +
=
i
Y
C. Metode Kuadrat Terkecil
Kategori