Materi Ekonometrika untuk S1
Ekonometrika
Program Studi Statistika
Semester Ganjil 2012
Dr. Rahma Fitriani, S.Si., M.Sc
Pendugaan Parameter Pada Regresi
dengan Dua Peubah
Menduga PRF dengan SRF
Menggunakan metode Ordinary Least Square
(OLS)
PRF
SRF
Yi 1 2 X i ui
Yˆi ˆ1 ˆ2 X i
Yi ˆ1 ˆ2 X i uˆi Yˆi uˆi
Dari dua definisi tersebut:
uˆi Yi Yˆi
Yi ˆ1 ˆ2 X i
Pendugaan Parameter Pada Regresi
dengan Dua Peubah
Prinsip metode Ordinary Least Square (OLS):
Memilih SRF sedemikian sehingga jumlah kuadrat
dari residual sekecil mungkin
n
n
uˆ Yi ˆ1 ˆ2 X i
i 1
2
i
2
i 1
Penduga parameter model dipilih berdasarkan
metode optimasi:
Solusi dari turunan pertama dari masingmasing parameter yang disamadengankan nol
Pendugaan Parameter Pada Regresi
dengan Dua Peubah
Diperoleh:
X i X Yi Y
ˆ
2
2
Xi X
ˆ1 Y ˆ2 X
Asumsi-asumsi yang mendasari Metode
OLS
1.
2.
3.
4.
5.
Diperlukan karena tujuan kita adalah
pengambilan kesimpulan mengenai nilai
parameter yang sebenarnya.
Regresi linier pada parameter
Nilai peubah bebas (eksogen) dianggap non
stokastik (fixed)
Galat mempunyai nilai harapan nol
Homokedastisitas: ragam yang sama pada
galat
Galat tidak saling berkorelasi
Asumsi-asumsi yang mendasari Metode
OLS
6.
7.
8.
9.
10.
Peubah bebas (eksogen) dan galat saling bebas
Jumlah pengamatan harus lebih besar daripada
jumlah parameter yang akan diduga
Nilai peubah bebas harus bervariasi
Model regresi harus dispesifikasikan dengan
tepat: no specification bias
Tidak ada multikolinieritas sempurna
Regresi Linier Pada Parameter
Hanya parameter yang bersifat linier
Peubah eksogen atau endogen boleh tidak
linier
Yi 1 2 X i ui
Yi 1 2 X i2 ui
ln Yi 1 2 ln X i ui
Nilai peubah bebas (eksogen) dianggap
non stokastik (fixed)
Untuk membentuk sebaran nilai-nilai peubah
endogen (Y) pada setiap nilai peubah eksogen
(X)
Pada X tertentu terdapat beberapa nilai Y
Analisis regresi di sini adalah analisis regresi
bersyarat pada nilai X
Yi E Y X i ui 1 2 X i ui
Galat mempunyai nilai harapan nol
Dengan syarat nilai X tertentu, galat
mempunyai rata-rata atau nilai harapan
E ui X i 0
sebesar nol
Homokedastisitas: ragam yang sama pada
galat
Pada setiap nilai X, populasi Y mempunyai
ragam yang sama
Ilustrasi grafis asumsi Heterokesdastisitas
var ui X i E ui2 X i i
2
X1 X 2 X 3
12 22 32
Pada kasus heterokesdastisitas
Ragam galat meningkat seiring dengan
meningkatnya nilai X
Nilai-nilai Y pada X1 lebih terpusat di garis
regresi populasi (PRF) daripada nilai-nilai Y di
X yang lainnya
Pengamatan Y berasal dari X= X1 akan lebih
mungkin terletak di dekat PRF daripada Y
yang berasal dari X yang lainnya.
Pengamatan pada X= X1 lebih akurat daripada
pengamatan pada X selainnya.
Implikasi dari asumsi Homokesdastisitas
Dari asumsi homokesdastisitas, berlaku
bahwa:
Ragam dari Y dengan syarat nilai X juga sama
untuk setiap kemungkinan nilai X
var Yi X i Var 1 2 X i ui X i
Konstant
a
Ragam dari konstanta adalah nol,
dan kedua suku saling bebas
var Yi X i var ui X i 2
Galat Tidak Berkorelasi
Pada dua nilai X yang berbeda, korelasi /
kovarians antar galat = 0.
Asumsi ini setara dengan asumsi kebebasan
galat pada pada nilai-nilai X yang berbeda.
Galat Tidak Berkorelasi
Asumsi ini disebut dengan ‘tidak ada
autokorelasi’ antar galat
Pada nilai X tertentu, penyimpangan nilai Y dari
rata-rata tidak mempunyai pola tertentu (acak).
Jika terdapat autokorelasi, maka Y tidak hanya
dipengaruhi oleh X, tapi juga dipengaruhi oleh
galat dari X yang lainnya
Yi E Y X i ui 1 2 X i ui
ui f ui 1
Peubah bebas (eksogen) dan galat saling
bebas
Kovarians di antara galat dan peubah eksogen =
0
PRF dibentuk berdasarkan asumsi bahwa X dan u
mempunyai efek aditif (yang terpisah) bagi Y
Jika kedua efek tersebut berkorelasi
Kesulitan dalam menganalisis efek individu dari
X dan u
Jika keduanya tidak saling bebas
u semakin besar seiring peningkatan nilai X
(korelasi positif)
u semakin kecil seiring peningkatan nilai X
(korelasi negatif)
Jumlah pengamatan harus lebih besar
daripada jumlah parameter yang akan diduga
Syarat diperolehnya solusi unik dari suatu
sistem persamaan (n: jumlah peubah, m:
jumlah persamaan, m≥n)
Dua parameter regresi bisa diduga jika
dipunyai paling sedikit dua titik
Nilai peubah bebas harus bervariasi
Karena tujuan dari analisis adalah
mempelajari perubahan Y seiring dengan
perubahan X
Dari rumus penduga slope model regresi,
penyebut akan bernilai nol jika tidak ada
variasi dari nilai X
Tidak ada solusi bagi
penduga
slope
X
X
Y
Y
i
i
ˆ
2
2
Xi X
≠0
Model regresi harus dispesifikasikan
dengan tepat: no specification bias
Model 1
Jika digunakan model
2, maka pada X
tertentu, model akan
overestimate ratarata Y bagi titik-titik
di antara A dan B
Model 2
Tidak ada multikolinieritas sempurna
Tidak ada hubungan linier di antara peubahpeubah eksogen yang digunakan
Classical Linier Regression Model
Asumsi-asumsi tersebut disebut dengan
asumsi pada Classical Linier Regression Model
(CLRM)
Asumsi tersebut mendasari sifat-sifat penduga
OLS secara statistika.
Dinyatakan dalam Teorema Gauss Markov
Keakuratan dan galat baku dari penduga
OLS
Mempelajari sebaran penarikan contoh dari
penduga regresi
SRF tidak pernah sama dari sampel satu ke
sampel yang lain
Nilai penduga juga tidak pernah sama dari
satu sampel ke sampel yang lain
Penduga dinyatakan akurat jika mempunyai
ragam/simpangan baku yang kecil pada
sebaran penarikan contohnya.
Sebaran penarikan
sampel penduga 1
-tepat, tidak bias
-Cukup akurat, ragam
kecil
Sebaran penarikan
sampel penduga 2
-tepat, tidak bias
-Kurang akurat, ragam
besar
Keakuratan dan galat baku dari penduga
OLS
Penduga ragam dari Penduga OLS
2
ˆ
var ˆ2
2
X
X
i
var ˆ1
ˆ 2 X 2
n X i X
se ˆ2
2
ˆ
se ˆ1 ˆ
2
ˆ
u
i
n 2
ˆ
X
i
X
2
X
i
2
n X i X
2
Sifat-sifat penduga OLS: Teorema Gauss
Markov
Jika semua asumsi-asumsi CLRM terpenuhi
maka penduga OLS akan mempunyai sifat
berikut ini:
Linier: fungsi linier dari peubah acak di dalam
model (Y)
Tidak bias: nilai harapan penduga adalah nilai dari
parameter
Mempunyai ragam terkecil dari semua penduga
BLUE:
linier yang tak
bias (Best Linear
Unbiased Estimators)
Penduga OLS menyebar secara normal pula
Goodness of Fit dari garis regresi
Sebagai alat untuk:
Menentukan apakah tidak ada alternatif garis lain yang
dapat menjelaskan hubungan X dan Y
Mengukur seberapa baik model yang diperoleh
menjelaskan Y
Diperlukan penguraian nilai JK Y di sekitar nilai
tengahnya.
2
2
Y Y Yˆ u
Y Y Yˆ Y Y Yˆ
i
i
JK total
Y
2
2
i
i
i
JK
Regresi
i
2
i
JK
Residual/Gala
t
DR. Rahma Fitriani, S.Si., M.Sc
JK Galat
JK total
JK
Regresi
Penguraian jumlah kuadrat Y di sekitar nilai
tengahnya
DR. Rahma Fitriani, S.Si., M.Sc
Dari penguraian JK tersebut dapat diturunkan
koefisien determinasi berikut:
JK Regresi
R
JK Total
2
Sebagai ukuran seberapa besar (dalam proporsi/persen)
keragaman total Y dapat dijelaskan oleh model regresi.
JK Total JK Regresi JK Galat
JK Regresi JK Galat
1
JK Total
JK Galat
1 R
JK Total
DR. Rahma Fitriani, S.Si., M.Sc
2
Rentang Nilai Koefisien Determinasi
Dari hubungan:
JK Galat
1 R
JK Total
2
Jika model regresi gagal menjelaskan keragaman nilai Y maka:
JK Galat JK Total
R 2 0
Jika model regresi menjelaskan keragaman nilai Y dengan
sempurna maka:
JK Galat 0
R 2 1
0 R 2 1
DR. Rahma Fitriani, S.Si., M.Sc
Uji Hipotesis dan Selang Kepercayaan
Dengan asumsi Classical Linier Regression
Model (CLRM) penduga OLS menyebar secara
normal:
ˆ ~ N , var ˆ
1
ˆ2
var ˆ1
~ N , var ˆ
1
2
ˆ 2 X 2
n X i X
2
1
2
2
ˆ
var ˆ2
2
Xi X
DR. Rahma Fitriani, S.Si., M.Sc
Uji Keberartian Penduga OLS
H 0 : i 0
H1 : i 0
Uji satu arah jika
dipunyai wawasan
‘a priori’
H 0 : i 0
H1 : i 0
Statistik uji:
ˆi i
ˆi
t
se ˆi
se ˆi
Tolak atau terima H0 berdasarkan nilai p untuk tingkat
nyata tertentu dan sifat uji, satu arah atau dua arah
DR. Rahma Fitriani, S.Si., M.Sc
Selang Kepercayaan
Selang di mana nilai β yang sebenarnya
terletak, pada tingkat kepercayaan tertentu
ˆi t ,n 2 se ˆi
2
DR. Rahma Fitriani, S.Si., M.Sc
Program Studi Statistika
Semester Ganjil 2012
Dr. Rahma Fitriani, S.Si., M.Sc
Pendugaan Parameter Pada Regresi
dengan Dua Peubah
Menduga PRF dengan SRF
Menggunakan metode Ordinary Least Square
(OLS)
PRF
SRF
Yi 1 2 X i ui
Yˆi ˆ1 ˆ2 X i
Yi ˆ1 ˆ2 X i uˆi Yˆi uˆi
Dari dua definisi tersebut:
uˆi Yi Yˆi
Yi ˆ1 ˆ2 X i
Pendugaan Parameter Pada Regresi
dengan Dua Peubah
Prinsip metode Ordinary Least Square (OLS):
Memilih SRF sedemikian sehingga jumlah kuadrat
dari residual sekecil mungkin
n
n
uˆ Yi ˆ1 ˆ2 X i
i 1
2
i
2
i 1
Penduga parameter model dipilih berdasarkan
metode optimasi:
Solusi dari turunan pertama dari masingmasing parameter yang disamadengankan nol
Pendugaan Parameter Pada Regresi
dengan Dua Peubah
Diperoleh:
X i X Yi Y
ˆ
2
2
Xi X
ˆ1 Y ˆ2 X
Asumsi-asumsi yang mendasari Metode
OLS
1.
2.
3.
4.
5.
Diperlukan karena tujuan kita adalah
pengambilan kesimpulan mengenai nilai
parameter yang sebenarnya.
Regresi linier pada parameter
Nilai peubah bebas (eksogen) dianggap non
stokastik (fixed)
Galat mempunyai nilai harapan nol
Homokedastisitas: ragam yang sama pada
galat
Galat tidak saling berkorelasi
Asumsi-asumsi yang mendasari Metode
OLS
6.
7.
8.
9.
10.
Peubah bebas (eksogen) dan galat saling bebas
Jumlah pengamatan harus lebih besar daripada
jumlah parameter yang akan diduga
Nilai peubah bebas harus bervariasi
Model regresi harus dispesifikasikan dengan
tepat: no specification bias
Tidak ada multikolinieritas sempurna
Regresi Linier Pada Parameter
Hanya parameter yang bersifat linier
Peubah eksogen atau endogen boleh tidak
linier
Yi 1 2 X i ui
Yi 1 2 X i2 ui
ln Yi 1 2 ln X i ui
Nilai peubah bebas (eksogen) dianggap
non stokastik (fixed)
Untuk membentuk sebaran nilai-nilai peubah
endogen (Y) pada setiap nilai peubah eksogen
(X)
Pada X tertentu terdapat beberapa nilai Y
Analisis regresi di sini adalah analisis regresi
bersyarat pada nilai X
Yi E Y X i ui 1 2 X i ui
Galat mempunyai nilai harapan nol
Dengan syarat nilai X tertentu, galat
mempunyai rata-rata atau nilai harapan
E ui X i 0
sebesar nol
Homokedastisitas: ragam yang sama pada
galat
Pada setiap nilai X, populasi Y mempunyai
ragam yang sama
Ilustrasi grafis asumsi Heterokesdastisitas
var ui X i E ui2 X i i
2
X1 X 2 X 3
12 22 32
Pada kasus heterokesdastisitas
Ragam galat meningkat seiring dengan
meningkatnya nilai X
Nilai-nilai Y pada X1 lebih terpusat di garis
regresi populasi (PRF) daripada nilai-nilai Y di
X yang lainnya
Pengamatan Y berasal dari X= X1 akan lebih
mungkin terletak di dekat PRF daripada Y
yang berasal dari X yang lainnya.
Pengamatan pada X= X1 lebih akurat daripada
pengamatan pada X selainnya.
Implikasi dari asumsi Homokesdastisitas
Dari asumsi homokesdastisitas, berlaku
bahwa:
Ragam dari Y dengan syarat nilai X juga sama
untuk setiap kemungkinan nilai X
var Yi X i Var 1 2 X i ui X i
Konstant
a
Ragam dari konstanta adalah nol,
dan kedua suku saling bebas
var Yi X i var ui X i 2
Galat Tidak Berkorelasi
Pada dua nilai X yang berbeda, korelasi /
kovarians antar galat = 0.
Asumsi ini setara dengan asumsi kebebasan
galat pada pada nilai-nilai X yang berbeda.
Galat Tidak Berkorelasi
Asumsi ini disebut dengan ‘tidak ada
autokorelasi’ antar galat
Pada nilai X tertentu, penyimpangan nilai Y dari
rata-rata tidak mempunyai pola tertentu (acak).
Jika terdapat autokorelasi, maka Y tidak hanya
dipengaruhi oleh X, tapi juga dipengaruhi oleh
galat dari X yang lainnya
Yi E Y X i ui 1 2 X i ui
ui f ui 1
Peubah bebas (eksogen) dan galat saling
bebas
Kovarians di antara galat dan peubah eksogen =
0
PRF dibentuk berdasarkan asumsi bahwa X dan u
mempunyai efek aditif (yang terpisah) bagi Y
Jika kedua efek tersebut berkorelasi
Kesulitan dalam menganalisis efek individu dari
X dan u
Jika keduanya tidak saling bebas
u semakin besar seiring peningkatan nilai X
(korelasi positif)
u semakin kecil seiring peningkatan nilai X
(korelasi negatif)
Jumlah pengamatan harus lebih besar
daripada jumlah parameter yang akan diduga
Syarat diperolehnya solusi unik dari suatu
sistem persamaan (n: jumlah peubah, m:
jumlah persamaan, m≥n)
Dua parameter regresi bisa diduga jika
dipunyai paling sedikit dua titik
Nilai peubah bebas harus bervariasi
Karena tujuan dari analisis adalah
mempelajari perubahan Y seiring dengan
perubahan X
Dari rumus penduga slope model regresi,
penyebut akan bernilai nol jika tidak ada
variasi dari nilai X
Tidak ada solusi bagi
penduga
slope
X
X
Y
Y
i
i
ˆ
2
2
Xi X
≠0
Model regresi harus dispesifikasikan
dengan tepat: no specification bias
Model 1
Jika digunakan model
2, maka pada X
tertentu, model akan
overestimate ratarata Y bagi titik-titik
di antara A dan B
Model 2
Tidak ada multikolinieritas sempurna
Tidak ada hubungan linier di antara peubahpeubah eksogen yang digunakan
Classical Linier Regression Model
Asumsi-asumsi tersebut disebut dengan
asumsi pada Classical Linier Regression Model
(CLRM)
Asumsi tersebut mendasari sifat-sifat penduga
OLS secara statistika.
Dinyatakan dalam Teorema Gauss Markov
Keakuratan dan galat baku dari penduga
OLS
Mempelajari sebaran penarikan contoh dari
penduga regresi
SRF tidak pernah sama dari sampel satu ke
sampel yang lain
Nilai penduga juga tidak pernah sama dari
satu sampel ke sampel yang lain
Penduga dinyatakan akurat jika mempunyai
ragam/simpangan baku yang kecil pada
sebaran penarikan contohnya.
Sebaran penarikan
sampel penduga 1
-tepat, tidak bias
-Cukup akurat, ragam
kecil
Sebaran penarikan
sampel penduga 2
-tepat, tidak bias
-Kurang akurat, ragam
besar
Keakuratan dan galat baku dari penduga
OLS
Penduga ragam dari Penduga OLS
2
ˆ
var ˆ2
2
X
X
i
var ˆ1
ˆ 2 X 2
n X i X
se ˆ2
2
ˆ
se ˆ1 ˆ
2
ˆ
u
i
n 2
ˆ
X
i
X
2
X
i
2
n X i X
2
Sifat-sifat penduga OLS: Teorema Gauss
Markov
Jika semua asumsi-asumsi CLRM terpenuhi
maka penduga OLS akan mempunyai sifat
berikut ini:
Linier: fungsi linier dari peubah acak di dalam
model (Y)
Tidak bias: nilai harapan penduga adalah nilai dari
parameter
Mempunyai ragam terkecil dari semua penduga
BLUE:
linier yang tak
bias (Best Linear
Unbiased Estimators)
Penduga OLS menyebar secara normal pula
Goodness of Fit dari garis regresi
Sebagai alat untuk:
Menentukan apakah tidak ada alternatif garis lain yang
dapat menjelaskan hubungan X dan Y
Mengukur seberapa baik model yang diperoleh
menjelaskan Y
Diperlukan penguraian nilai JK Y di sekitar nilai
tengahnya.
2
2
Y Y Yˆ u
Y Y Yˆ Y Y Yˆ
i
i
JK total
Y
2
2
i
i
i
JK
Regresi
i
2
i
JK
Residual/Gala
t
DR. Rahma Fitriani, S.Si., M.Sc
JK Galat
JK total
JK
Regresi
Penguraian jumlah kuadrat Y di sekitar nilai
tengahnya
DR. Rahma Fitriani, S.Si., M.Sc
Dari penguraian JK tersebut dapat diturunkan
koefisien determinasi berikut:
JK Regresi
R
JK Total
2
Sebagai ukuran seberapa besar (dalam proporsi/persen)
keragaman total Y dapat dijelaskan oleh model regresi.
JK Total JK Regresi JK Galat
JK Regresi JK Galat
1
JK Total
JK Galat
1 R
JK Total
DR. Rahma Fitriani, S.Si., M.Sc
2
Rentang Nilai Koefisien Determinasi
Dari hubungan:
JK Galat
1 R
JK Total
2
Jika model regresi gagal menjelaskan keragaman nilai Y maka:
JK Galat JK Total
R 2 0
Jika model regresi menjelaskan keragaman nilai Y dengan
sempurna maka:
JK Galat 0
R 2 1
0 R 2 1
DR. Rahma Fitriani, S.Si., M.Sc
Uji Hipotesis dan Selang Kepercayaan
Dengan asumsi Classical Linier Regression
Model (CLRM) penduga OLS menyebar secara
normal:
ˆ ~ N , var ˆ
1
ˆ2
var ˆ1
~ N , var ˆ
1
2
ˆ 2 X 2
n X i X
2
1
2
2
ˆ
var ˆ2
2
Xi X
DR. Rahma Fitriani, S.Si., M.Sc
Uji Keberartian Penduga OLS
H 0 : i 0
H1 : i 0
Uji satu arah jika
dipunyai wawasan
‘a priori’
H 0 : i 0
H1 : i 0
Statistik uji:
ˆi i
ˆi
t
se ˆi
se ˆi
Tolak atau terima H0 berdasarkan nilai p untuk tingkat
nyata tertentu dan sifat uji, satu arah atau dua arah
DR. Rahma Fitriani, S.Si., M.Sc
Selang Kepercayaan
Selang di mana nilai β yang sebenarnya
terletak, pada tingkat kepercayaan tertentu
ˆi t ,n 2 se ˆi
2
DR. Rahma Fitriani, S.Si., M.Sc