Regresi dengan Heteroskedastisitas

Heteroskedastisitas
• Penyimpangan asumsi ketika ragam galat tidak konstan
• Ragam galat populasi di setiap Xi tidak sama
• Terkadang naik seiring dengan nilai Xi
• Terkadang turun seiring dengan nilai Xi
• Sering terjadi pada data cross section

Ilustrasi grafis asumsi Homokesdastisitas





var ui X i  E ui2 X i 

2

Ilustrasi grafis asumsi Heterokesdastisitas





var ui X i  E ui2 X i  i

2

X1  X 2  X 3

 12   22   32

Contoh-contoh kasus dengan Heteroskedastisitas
Error learning models
 Kesalahan semakin sedikit seiring waktu
 Pada kasus menduga jumlah kesalahan ketik berdasarkan lama
jam latihan.
 Semakin lama jam latihan, rata-rata maupun ragam kesalahan
ketik semakin kecil

Pada kasus pendapatan dan saving
 Semakin banyak pendapatan semakin banyak pilihan jumlah uang

yang ingin ditabung
 Semakin banyak pendapatan semakin beragam jumlah saving

Adanya pencilan atau sebaran salah satu peubah eksogen
yang menjulur
 Pendapatan , tingkat pendidikan

• Kesalahan dalam spesifikasi model
– Tidak menggunakan peubah eksogen yang sesuai

• Bentuk fungsional yang kurang tepat

Efek dari Heterokesdastisitas
• Penduga OLS bagi β tetap tidak bias dan konsisten.
• Heterokesdastisitas meningkatkan ragam dari sebaran
penduga β
– Penduga β bukan lagi penduga yang paling efisien

• Pada uji t dan uji F terjadi underestimation bagi ragam atau
simpangan baku penduga parameter

•

– Statistik uji t atau statistik uji F menjadi lebih besar dari yang
sebenarnya
– Lebih sering terjadi penolakan H0 pada uji koefisien parameter
– Uji-uji tersebut menjadi kurang terpercaya

Efek secara matematis terhadap struktur
ragam penduga koefisien
Untuk regresi linier sederhana:

 

var ˆ2  2



X

i  X

2

 2

1
2
x
 i

Dengan modifikasi:
1
2
ˆ
var  2 


2
x

 i

 



1

2

2
i

x
 x 

Jika ragam tidak konstan maka:

2 2
i



2 2
x
 i

 x 

2 2
i

 

var ˆ2 

2 2
x
 i i

 x 

2 2
i



var ˆ 2

2
i

2
i
2 2
i

  x 
 x 

(*)

•
•

Pada kasus heterokesdastisitas, ragam berfluktuasi seiring nilai X
Ragam penduga β menjadi lebih besar → penduga yang tidak efisien



Jika heterokesdastisitas tidak terdeteksi:
 pada uji t dan uji F digunakan satu nilai penduga
ragam, dan dipakai hubunganx 2berikut:
 i
var ˆ2 ˆ 2
2 2

 

 x 

i



Nilai tersebut akan jauh lebih kecil daripada nilai ragam
sebenarnya sesuai hubungan di (*)

• Underestimated variance or standard deviation:
– Memberikan nilai statistik uji t atau F yang terlalu
besar
– Lebih sering menghasilkan penolakan H0

Cara mendeteksi
Secara grafis
 Berdasarkan plot residual

Dengan uji statistik
1.
2.
3.

4.
5.
6.

Breusch-Pagan LM test
Glesjer LM test
Harvey-Godfrey LM test
Park LM test
Goldfeld-Quant test
White test

Pada 1, 2, 3, 4, 6, dibentuk auxiliary regression dengan residual sebagai peubah endogen
dan X sebagai peubah eksogen
Koefisien determinasi dari auxiliary regression dipakai sebagai statistik uji
Pada 5 dilakukan sub sampling berdasarkan nilai X yang menyebabkan heterokesdastisitas

Pendeteksian Heteroskedastisitas secara grafis
u^2

no heteroscedasticity

u^2

^
Y
u^2

yes

yes

^
Y
u^2

^
Y

u^2

yes

yes

^
Y
u^2

^
Y

yes

^
Y

Breusch-Pagan LM test
Yi   1   2 X 2 i   3 X 3i  ...   k X ki  u i
• Langkah 1: duga model regresi di atas dan dapatkan penduga
residualnya

uˆ i Yˆi  Yi



Langkah 2: menduga auxiliary regression berikut di mana peubah bebas yang
digunakan adalah peubah-peubah yang mungkin mempengaruhi ragam galat
 Peubah eksogen X

uˆ i2  a1  a 2 X 2 i  ...  a 2 X pi  vi

Langkah 3: formulasikan hipotesis nol dan alternatif
 Hipotesis nol: kasus homokesdastisitas, tidak ada hubungan antara X
dan residual
 Hipotesis alternatif: kasus heterokesdastisitas, terdapat hubungan
antara X dan residual



H 0  a1  a 2 ...  a p
H 1 : paling sedikit satu a i  0


Langkah 4: Dapatkan statistik uji berdasarkan koefisien
determinasi dari auxiliary regression R2
2

LM  nR ~ 


2
p 1

Derajat bebas adalah
jumlah X yang
digunakan di dalam
auxiliary regression

Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji

Glesjer LM test
Yi   1   2 X 2 i   3 X 3i  ...   k X ki  u i
• Langkah 1: duga model regresi di atas dan dapatkan penduga
residualnya

uˆ i Yˆi  Yi



Langkah 2: menduga auxiliary regression berikut di mana peubah bebas yang
digunakan adalah peubah-peubah yang mungkin mempengaruhi ragam galat
 Peubah eksogen X

uˆ i  a1  a 2 X 2 i  ...  a 2 X pi  vi

Langkah 3: formulasikan hipotesis nol dan alternatif
 Hipotesis nol: kasus homokesdastisitas, tidak ada hubungan antara X
dan residual
 Hipotesis alternatif: kasus heterokesdastisitas, terdapat hubungan
antara X dan residual



H 0  a1  a 2 ...  a p
H 1 : paling sedikit satu a i  0


Langkah 4: Dapatkan statistik uji berdasarkan koefisien
determinasi dari auxiliary regression R2
2

LM  nR ~ 


2
p 1

Derajat bebas adalah
jumlah X yang
digunakan di dalam
auxiliary regression

Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji

Harvey-Godfrey LM test
Yi   1   2 X 2 i   3 X 3i  ...   k X ki  u i
• Langkah 1: duga model regresi di atas dan dapatkan penduga
residualnya

uˆ i Yˆi  Yi



Langkah 2: menduga auxiliary regression berikut di mana peubah bebas yang
digunakan adalah peubah-peubah yang mungkin mempengaruhi ragam galat
 Peubah eksogen X

ln uˆ i2   a1  a 2 X 2 i  ...  a 2 X pi  vi

Langkah 3: formulasikan hipotesis nol dan alternatif
 Hipotesis nol: kasus homokesdastisitas, tidak ada hubungan antara X
dan residual
 Hipotesis alternatif: kasus heterokesdastisitas, terdapat hubungan
antara X dan residual



H 0  a1  a 2 ...  a p
H 1 : paling sedikit satu a i  0


Langkah 4: Dapatkan statistik uji berdasarkan koefisien
determinasi dari auxiliary regression R2
2

LM  nR ~ 


2
p 1

Derajat bebas adalah
jumlah X yang
digunakan di dalam
auxiliary regression

Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji

Park LM test
Yi   1   2 X 2 i   3 X 3i  ...   k X ki  u i
• Langkah 1: duga model regresi di atas dan dapatkan penduga
residualnya

uˆ i Yˆi  Yi



Langkah 2: menduga auxiliary regression berikut di mana peubah bebas yang
digunakan adalah peubah-peubah yang mungkin mempengaruhi ragam galat
 Peubah eksogen X

ln uˆ i2   a1  a 2 ln X 2 i  ...  a 2 ln X pi  vi

Langkah 3: formulasikan hipotesis nol dan alternatif
 Hipotesis nol: kasus homokesdastisitas, tidak ada hubungan antara X
dan residual
 Hipotesis alternatif: kasus heterokesdastisitas, terdapat hubungan
antara X dan residual



H 0  a1  a 2 ...  a p
H 1 : paling sedikit satu a i  0


Langkah 4: Dapatkan statistik uji berdasarkan koefisien
determinasi dari auxiliary regression R2
2

LM  nR ~ 


2
p 1

Derajat bebas adalah
jumlah X yang
digunakan di dalam
auxiliary regression

Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji

Goldfeld-Quant Test
 Ide dasar: jika ragam sama untuk seluruh pengamatan (homoskedastic)
maka:
 Ragam dari sub sampel pertama akan sama dengan ragam dari sub
sampel kedua
 Uji dapat dilakukan jika diketahui peubah mana yang paling berhubungan
dengan galat residual
 Dari plot antara residual dengan masing-masing peubah eksogen
 Kelemahan:
 Jika heteroskedastisitas disebabkan oleh lebih dari satu peubah eksogen
 Tidak dapat dilakukan pada data deret waktu
 Lebih sesuai untuk regresi linier sederhana dengan satu peubah eksogen

Langkah 1:
 Tentukan peubah eksogen yang paling berhubungan dengan ragam
galat.
 Urutkan pengamatan untuk peubah ini dari yang terbesar ke yang
terkecil

Langkah 2:
 Bagi pengamatan terurut menjadi dua sub sampel yang sama besar
 c pengamatan di tengah dihilangkan
 2 sub sampel beranggotakan ½(n - c) pengamatan
 Sub sampel I beranggotakan pengamatan dengan nilai-nilai besar
 Sub sampel II beranggotakan pengamatan dengan nilai-nilai kecil

Langkah 3:
 Lakukan analisis regresi untuk Y terhadap semua variabel X, pada
masing-masing sub sampel
 Dapatkan JK Residual untuk masing-masing model

Langkah 4:
 Hitung statistik uji F sbb:

JKG 1
F 
~ F 1  n  c   k , 1  n  c   k 
2
2
JKG 2


JKG1 adalah JK Galat
dengan nilai terbesar.
k jumlah parameter
yang diduga

Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji

• Bagaimana menentukan nilai c, jumlah
pengamatan di tengah yang dihapuskan?
• Umumnya digunakan 1/6 atau 1/3 dari jumlah
pengamatan

White’s test
Uji LM yang mempunyai kelebihan dari uji-uji yang lain
Tidak memerlukan pengetahuan awal tentang peubah eksogen
penyebab heteroskedastisitas
Tidak sensitif terhadap asumsi kenormalan
Dapat dipakai untuk regresi dengan k parameter (k-1 peubah
eksogen)
Untuk ilustrasi digunakan regresi dengan 2 peubah eksogen

White’s test
Yi   1   2 X 2 i   3 X 3i  ui
• Langkah 1: duga model regresi di atas dan dapatkan penduga
residualnya

uˆ i Yˆi  Yi



Langkah 2: menduga auxiliary regression berikut
 Semua peubah eksogen digunakan
 Digunakan pangkat dua dari semua peubah eksogen
 Interaksi yang mungkin antara semua peubah eksogen

uˆ i2  a1  a 2 X 2 i  a 3 X 3i  a 4 X 22i  a 5 X 32i  a 6 X 2 i X 3i  vi

Langkah 3: formulasikan hipotesis nol dan alternatif
 Hipotesis nol: kasus homokesdastisitas, tidak ada hubungan antara X
dan residual
 Hipotesis alternatif: kasus heterokesdastisitas, terdapat hubungan
antara X dan residual



H 0  a1  a 2 ...  a 6
H 1 : paling sedikit satu a i  0


Langkah 4: Dapatkan statistik uji berdasarkan koefisien
determinasi dari auxiliary regression R2

LM  nR 2 ~  62 1


Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji

Metode mengatasinya
• Weighted least square

Weighted Least Square
 Jika penyebab heterokesdastisitas diketahui, informasi ini dapat
digunakan untuk menerapkan metode Weighted Least Square (WLS)
 Sebagai ilustrasi dari penerapan WLS: misalkan ragam galat
berhubungan dengan suatu peubah zi

var  ui   2 zi2


Bagi persamaan regresi dengan zt
yi
1
x2 i
x3i
 1   2
 3
 vi
zi
zi
zi
zi

vt 

ut
zt

Dengan hubungan tersebut, dapat dibentuk ragam yang konstan, sbb:
 ui  var  ui   2 zi2
var  vi  var    2  2  2
zi
zi
 zi 


Parameter diperoleh dari model dengan peubah yang sudah diboboti oleh zt