Materi Ekonometrika untuk S1

Ekonometrika
Program Studi Statistika
Semester Ganjil 2011

DR. Rahma Fitriani, S.Si., M.Sc

Regresi Linier Berganda




Satu peubah respon (endogen)
Beberapa peubah penjelas (eksogen)
Dinotasikan dalam matriks

Y Xβ  u

 Y1 
Y   
 
Yn 

n 1

1
1

X 1


1

X 21
X 22
X 23

X 2n

X 31
X 32
X 33


X 3n

...
...
...
...

X k1 
 1 
 u1 
Xk2

   u   
β

X k3
 
 



  k 
un 
X kn 
n 1
n k
k 1

Penduga OLS


Penduga yang meminimumkan Jumlah kuadrat
galat (RSS), dalam notasi matriks:

RSS uˆ uˆ

ˆ
RSS  Y  Xβ Y  Xβˆ
 Y βˆ X Y  Xβˆ
YY  βˆ XY  YXβˆ  βˆ XXβˆ












YY  2YXβˆ  βˆ XXβˆ

Penduga OLS


RSS akan minimum pada nilai penduga yang
merupakan solusi dari turunan pertama RSS
yang disamadengankan nol

RSS

 2X Y  2X Xβˆ 0
ˆ
XXβˆ XY
ˆβ  XX   1 XY
PENDUGA OLS

Asumsi­asumsi pada regresi linier berganda


Sama dengan semua asumsi pada regresi linier
sederhana, dengan tambahan:




Tidak ada hubungan linier sempurna di antara dua atau
lebih peubah penjelas (eksogen)

Dengan terpenuhinya asumsi maka penduga OLS akan
bersifat:









Linier: fungsi linier dari peubah respons (endogen)
Tidak bias: nilai harapan penduga adalah nilai parameter
Konsisten: untuk n→∞, penduga menuju nilai parameter
yang sebenarnya, dan ragam penduga →0
Ragam yang paling kecil di antara semua penduga yang
mungkin
BLUE: Best Linear Unbiased Estimators
DR. Rahma Fitriani, S.Si., M.Sc

Struktur Ragam Peragam dari Penduga

ˆ

ˆ
ˆ
var β E β   β  

 



  XX 
2







1

Matriks berukuran k × k

Ragam (variance) pada diagonal utama
Peragam (covariance) selainnya

Goodness of Fit dari garis Regresi Berganda


R2 pada regresi linier sederhana tidak dapat dipakai
untuk membandingkan dua model dengan jumlah
peubah eksogen yang berbeda.



Ketika jumlah peubah X ditambah:






Proporsi keragaman Y yang terjelaskan oleh X akan selalu

meningkat.
R2 akan selalu meningkat seiring jumlah X, tanpa melihat
penting tidaknya penambahan X dalam model.

Digunakan adjusted R2,


Adjusted: disesuaikan terhadap jumlah peubah eksogen X
yang digunakan

Adjusted R2
JK Regresi
JK Galat
R 
1 
JK Total
JK Total
2




Dengan penyesuaian terhadap jumlah peubah
eksogen

JK Galat/ n-k 
JK Galat  n-1
adjusted R 1 
1 
JK Total/  n-1
JK Total  n-k 
2





Adjusted R2 dapat digunakan untuk memilih model mana yang
terbaik berdasarkan jumlah peubah eksogen yang dipakai.
Terbaik: Adjusted R2 → 1


Kriteria lain untuk Pemilihan Model



Beberapa kriteria digunakan, AIC, FPE, SBC, HQC
Semua memberikan penalti terhadap JK Galat:


Semakin banyak peubah eksogen semakin besar penaltinya



Model terbaik (berdasarkan jumlah peubah eksogen)
dipilih dari nilai terkecil kriteria-kriteria tersebut.



Harapan: model terbaik mempunyai nilai terkecil untuk
semua kriteria




Tidak selalu terjadi akibat bobot yang berbeda

AIC: lebih banyak digunakan pada data deret waktu

Kriteria lain untuk Pemilihan Model
Akaike
Information
Criterion
Finite Prediction
Error
Schwarz
Bayesian
Criterion
Hannah and
Quinn Criterion

 JK Galat  2 k n
AIC 
e
n


 JK Galat  n  k
FPE 

n

n k
 JK Galat  k n
SBC 
e
n


2k
 JK Galat 
HQC 
  ln n  n
n



Beberapa Uji Hipotesis Pada Regresi 
Berganda


Uji keberartian koefisien secara individu




Uji keberartian koefisien secara simultan




Uji hubungan linier antara dua atau lebih koefisien: uji F atau uji Wald
(pengembangan uji t)

Uji untuk penambahan atau pengurangan peubah eksogen




Uji F

Uji linear restriction:




Uji t (sama dengan uji t pada kasus regresi linier sederhana)

Uji F atau Uji chi square dengan Likelihood Ratio

Semua uji merupakan perbandingan dari unrestricted model
(menggunakan semua peubah eksogen) dan restricted model



Jika perbedaan tidak nyata maka restriction tidak berarti secara statistik.
Model unrestricted lebih baik digunakan.

Uji F




Hipotesis nol: restricted model valid
Menduga restricted model dan unrestricted model
Memperoleh JK Galat untuk restricted model dan JK Galat
untuk unrestricted model, dan menghitung statistik uji F.


JKG R 
F

JKGU  /  kU  k R 
~ F kU  k R ,n  kU 
JKGU /  n  kU 

JKGR: JK galat restricted model
JKGU: JK galat unrestricted model
kU: jumlah peubah eksogen (termasuk konstanta)
pada unrestricted model
kR: jumlah peubah eksogen (termasuk konstanta)
pada restricted model

Penggunaan uji F untuk Uji keberartian 
koefisien peubah X secara bersama­sama


Uji goodness fit secara keseluruhan



Pada dua model



Unrestricted: menggunakan semua peubah eksogen
Restricted: hanya menggunakan konstanta ( super restricted
model)

U : Yi  β1  β2 X 2i  β3 X 3i  β4 X 4i  β5 X 5i  ut
R : Yi  β1  ut
H 0 :  2  3  4 5 0

H1 : paling sedikit salah satu i 0, i 2,,5



Dari pendugaan masing-masing model diperoleh JKG U dan
JKGR

kU =k= 5

kR = 1

Terdapat hubungan khusus untuk JKG R

JKGR  u  Yi  1 
2
i

 Yi  Y 

2

2

ˆ1 Y

 JKTotalU


JKG R 
F


JKGU  /  kU  k R 
JKTotal U  JKGU  /  k  1

JKGU /  n  kU 
JKGU /  n  k 
JKRegresiU /  k  1

JKGU /  n  k 

JKRegresiU /  k  1
F
JKGU /  n  k 
R /  k  1
F
~ F k  1,n  k 
2
1  R  /  n  k 
2

JK Regresi
JKG
R 
1 
JK Total
JK Total
2

JKRegresiU JKRegresiU JKTotal U


JKGU
JKTotal U
JKGU
JKRegresiU
1

 JKGU
JKTotal U
JKTotal U
1
2
R 
1  R2



R2 diperoleh dari model unrestricted.



Jika F nyata secara statistik (dari p value), maka terdapat
cukup bukti untuk mendukung keberartian model

Uji Chi­Square dengan Likelihood Ratio


Perbandingan likelihood dua model, restricted
dan unrestricted






Unrestricted model: menggunakan semua peubah
eksogen (sejumlah k)
Restricted model: terdapat beberapa peubah yang
tidak digunakan atau ditambahkan (sejumlah m)

Hipotesis nol: beberapa parameter bernilai nol
Menggunakan statistik uji chi-square:
LR  2 lR  lu  ~  m2

Contoh Penggunaan uji Chi­Square untuk 
menguji pengurangan peubah eksogen


Unrestricted Model:

U : Yi  β1  β2 X 2i  β3 X 3i  β4 X 4i  β5 X 5i  ui


Restricted Model:

R : Yi  β1  β2 X 2i  β3 X 3i  ui
H 0 :  4  5 0

H1 : paling sedikit salah satu i 0, i 4,5



Fungsi likelihood dari model regresi:



 1 Y  Yˆ
1
2
i
i
l   ,   
exp  
2
i 1  2
 2 
n




1


  n 2





 1
Yi  Yˆi
exp   
n
2
 2



 
2



Fungsi likelihood dari model restricted:
l  1 ,  ,  3 ,  2  





2

 1 Yi  1   2 X 2i   3 X 3i  2 
exp  

n
2
2

2



1

n





Fungsi likelihood dari model unrestricted:

l  1 ,  ,  5 ,  2  

 1 Yi  1   2 X 2i   3 X 3i   4 X 4i   5 X 5i  2 
exp  

n
2
2

2



1

n







Statistik uji chi-square dihitung berdasarkan dua fungsi
likelihood tersebut:

LR  2 lR  lu  ~  m2  22


Jika statistik uji tersebut nyata secara statistik, maka
akan cukup bukti untuk mendukung hipotesis alternatif:
 Peubah eksogen X4 dan X5 tidak perlu dihilangkan
dari model

Uji Wald (pengembangan Uji t)



Pengujian linear restriction
Misalkan:

Yi  β1  β2 X 2i  β3 X 3i  ui


Dengan hipotesis bahwa koefisien-koefisien tsb
mempunyai hubungan linier, misalkan:

H 0 : β2  β3 1



 

~ N    , var  βˆ

 
 βˆ 

βˆ2 ~ N  2 , var βˆ2 , βˆ3 ~ N  3 , var βˆ3
βˆ2  βˆ3

2

2

2

3



Ragam dari jumlah dua penduga tersebut:





 

 



var βˆ2  βˆ3 var βˆ2  var βˆ3  2 cov βˆ2 , βˆ3




Dengan sifat tersebut, dapat dilakukan uji t,
berdasarkan hipotesis nol:

H 0 : β2  β3 1


βˆ
t









ˆ  βˆ  1
ˆ  β  β 
β

β
2
3
2
3
2
3

~ tn 3
var βˆ2  var βˆ3  2 cov βˆ2 , βˆ3
var βˆ2  βˆ3



 

 



Uji ini tidak direkomendasikan, terutama jika linear
restriction melibatkan lebih dari 2 parameter



Uji F untuk pengujian Linear Restriction


Pengujian linear restriction



Misalkan:

Yi  β1  β2 X 2i  β3 X 3i  ui

Unrestricted
model



Dinyatakan sebagai unrestricted model



Dengan hipotesis bahwa koefisien-koefisien tsb mempunyai
hubungan linier, misalkan:

H 0 : β2  β3 1


Modifikasi dari unrestricted model:

Yi  β1  β2 X 2i  1  β2  X 3i  ui

Yi  β1  β2 X 2i  1  β2  X 3i  ui
Yi  X 3i  β1  β2  X 2i  X 3i   ui


Lakukan transformasi pada peubah endogen dan
eksogen:

Yi *  β1  β2 X 2i * ui
Yi * Yi  X 3i

Restricted
model

X 2i *  X 2i  X 3i



Dari pendugaan masing-masing model diperoleh
JKGU dan JKGR


kU =3



kR = 2


JKGR 
F

JKGU  /  kU  k R   JKGR  JKGU 

JKGU /  n  kU 
JKGU /  n  3



Jika statistik uji F ini nyata maka cukup bukti untuk
menolak hipotesis tentang hubungan linier yang ada
 Selainnya maka hubungan linier dapat diterima

Interpretasi Koefisien Pada Multiple 
Regression
Contoh kasus:
 Observasi pada 900 karyawan suatu
perusahaan
 Hubungan antara gaji (wage) dan






lama tahun pendidikan (educ),
tahun pengalaman kerja (exper),
lama tahun bekerja di perusahaan yang sama
(tenure)

Digunakan model log lin:



Perubahan Gaji dalam persen
Perubahan Gaji bebas satuan

Output Software










Model 1: OLS, using observations 1-900
Dependent variable: l_WAGE
coefficient
std. error
t-ratio
p-value
--------------------------------------------------------const
5.52833
0.112795
49.01
8.70e-256
EDUC
0.0731166
0.00663568
11.02
1.44e-026
EXPER
0.0153578
0.00342531
4.484
8.29e-06
TENURE
0.0129641
0.00263073
4.928
9.90e-07



Mean dependent var
Sum squared resid
R-squared
F(3, 896)
Log-likelihood
Schwarz criterion



Log-likelihood for WAGE = -6531.59







6.786164
135.2110
0.148647
52.14758
-424.0434
875.2964

S.D. dependent var
S.E. of regression
Adjusted R-squared
P-value(F)
Akaike criterion
Hannan-Quinn

***
***
***
***

0.420312
0.388465
0.145797
4.53e-31
856.0868
863.4250





Uji statistik bagi koefisien-koefisien nyata, secara
serempak maupun masing-masing
Model berarti secara statistik, walaupun R2 kecil
Secara teori ekonomi:
 Tingkat Pendidikan berhubungan positif dengan gaji
 Pengalaman kerja berhubungan positif dengan gaji
 Masa kerja berhubungan positif dengan gaji

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE
(0.113)(0.00664)
(0.00343)
(0.00263)
n = 900, R-squared = 0.149
(standard errors in parentheses)

Interpretasi Masing­masing koefisien
^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE
(0.113)(0.00664)
(0.00343)
(0.00263)
n = 900, R-squared = 0.149
(standard errors in parentheses)







Semua tanda koefisien bersesuaian dengan teori ekonomi
1 tahun peningkatan tingkat pendidikan meningkatkan gaji
sebesar 7.31% dengan menganggap peubah bebas
lainnya konstan
1 tahun bertambahnya pengalaman kerja meningkatkan gaji
sebesar 1.54% dengan menganggap peubah bebas
lainnya konstan
1 tahun bertambahnya masa kerja di perusahaan
meningkatkan gaji sebesar 1.3% dengan menganggap
peubah bebas lainnya konstan