Regresi dengan Autokorelasi

Regresi dengan Autokorelasi
Pada Error

Autocorrelation
• Terjadi ketika kovarians dan korelasi antar galat ≠ tidak sama dengan nol.
– Salah satu pelanggaran asumsi

cov  ut , us  0, untuk beberapa t s


Paling sering terjadi pada data deret waktu
 Karena urutan pengamatan mempunyai makna





Galat pada satu periode mempengaruhi galat pada periode berikutnya
Terutama pada periode dengan jarak pendek (mis: harian)

Pada data cross section jarang terjadi

 Karena urutan pengamatan tidak penting

Penyebab Autokorelasi
• Ommited important variable
• Misspecification of the model
• Systematic errors in measurement

Omitted variable
• Misalkan Yt dipengaruhi oleh X2t dan X3t
• Akan tetapi X3t tidak disertakan di dalam model.

Yt 1  1 X 2 t  ut




Sifat data time series:
 X3t berhubungan dengan X3,t-1, X3,t-2
Sehingga ut berhubungan dengan ut-1, ut-2

ut  X 3t  vt

Misspecification of the model
• Misalkan Yt dipengaruhi oleh X2t secara kuadratik

Yt 1   2 X 2 t   3 X 22t  ut


Akan tetapi suku kuadratik X2t tidak disertakan di dalam model.

Yt 1   2 X 2 t  vt


vt  3 X 22t  ut

Jika X2t naik atau turun seiring waktu maka vt juga akan naik atau turun seiring
waktu

Systematic Errors in Measurement
• Pengukuran yang dilakukan pada waktu

tertentu
– Misalkan tingkat sediaan pada waktu t
– Terjadi kesalahan dalam pengukuran tersebut

• Jika variabel bersifat akumulatif, maka
kesalahan pengukuran juga akan terakumulatif
• Error di pengamatan t dipengaruhi oleh error
pada waktu sebelumnya

Jenis autokorelasi
• Yang paling sering terjadi adalah first order serial autocorrelation: AR(1)

Yt 1   2 X 2 t   3 X 3t     k X kt  ut
ut ut  1   t




ρ menyatakan hubungan fungsional antar galat ut
 Koefisien dari first order autocorrelation,

 Bernilai di antara -1 s/d 1
Dan εt adalah galat yang iid

• ρ=0, tidak ada autokorelasi
• ρ→1, positif korelasi serial, galat waktu sebelumnya
sangat mempengaruhi galat saat ini.
– Galat waktu t-1 yang (-) diikuti oleh galat waktu t
yang juga (-)
– Galat waktu t-1 yang (+) diikuti oleh galat waktu t
yang juga (+)
• ρ→-1, negatif korelasi serial, galat waktu
sebelumnya sangat mempengaruhi galat saat ini.
– Galat waktu t-1 yang (-) diikuti oleh galat waktu t
yang (+)
– Galat waktu t-1 yang (+) diikuti oleh galat waktu t
yang (-)

Positive Autocorrelation
+
uˆt

uˆt

-

+

+

uˆt  1

Time

-

-

Autokorelasi positif, ditunjukkan oleh pola siklus dari galat seiring waktu.

Negative Autocorrelation

uˆ t

+
uˆt

+

-

+

Time

uˆt  1

-

-

Autokorelasi negatif, ditunjukkan dari pola yang ‘alternating’ dari galat seiring waktu

No pattern in residuals –
No autocorrelation
uˆ t

+

+

uˆt

-

+

Time

uˆt  1

-

-

Tidak ada pola dari galat, tidak ada autokorelasi

Efek dari Autokorelasi
• Penduga OLS untuk koefisien regresi tetap tidak bias akan tetap tidak
lagi efisien (ragam besar)
– Tidak lagi BLUE

• Penduga ragam bagi koefisien regresi menjadi bias dan tidak konsisten
– Uji hipotesis tidak lagi valid
– Tidak mencerminkan hal yang sebenarnya

• Overestimated R2:
– Lebih besar dari yang sebenarnya
– Model lebih sering dinyatakan ‘a good fit’ daripada hubungan yang
sebenarnya
– Uji t juga lebih sering dinyatakan nyata

Efek matematis terhadap ragam penduga
koefisien
• Ragam peragam penduga koefisien OLS tanpa autokorelasi:



1
1
var βˆ  X' X  X' E  uu'  X  X' X 



1
1
var βˆ  X' X  X' 2IX  X' X 



1
1

1
2
2
ˆ
var β   X' X  X' X  X' X    X' X 



Jika terdapat autokorelasi, maka:
E  ut , ut  E  ut , ut  1 
 1

 
E  uu'   2   2

 
  n  1


1



2
2
1

 n 2

 n 3

E  ut , ut  2 
  n 1 

  n 2 
  n  3  Ω



1 

• Ragam peragam penduga koefisien OLS dengan autokorelasi:



var βˆ

 X' X  X' E  uu'  X  X' X   X' X   1 X' ΩX  X' X   1
1

AR  1

1

Detecting Autocorrelation:The
Durbin-Watson Test
Uji Durbin-Watson (DW):
- Uji untuk first order autocorrelation AR (1)
ut = ut-1 + vt
dengan vt  N(0, v2).
•

Hipotesis uji:
– H0 : =0 and H1 : 0

•

Statistik uji

T

  ut  ut  1 2

DW t 2 T

 ut 2

t 2

The Durbin-Watson Test: Critical Values
Dengan penyederhanaan:

DW 21  ˆ 

ˆ : penduga koefisien korelasi pada AR (1)
 1 ˆ 1
0 DW 4

Sehingga:

ˆ 0 : DW 2
Untuk DW → 2, tidak akan ada cukup bukti untuk adanya autokorelasi
Terdapat dua nilai kritis bagi DW,
Upper critical value (du)
Lower critical value (dL)
Terdapat pula daerah yang ‘inconclusive’

The Durbin-Watson Test: Interpretasi hasil
uji

Syarat agar uji dapat dilakukan secara sah:
1. Ada suku konstan pada model regresi
2. Peubah eksogen non stokastik (fixed)
3. Tidak ada lag pada peubah eksogen

Uji Breusch-Godfrey
• Dapat dilakukan untuk menguji autokorelasi sampai derajat ke r

ut 1ut  1   2ut  2   3ut  3     r ut  r  vt
vt ~ N 0,  v2 


Dengan mengkombinasikan sifat galat tsb dan model regresi:

Yt 1   2 X 2 t     k X kt  1ut  1   2ut  2     r ur  1  vt
Hipotesis nol dan hipotesis alternatif:
H0 : 1 = 0 dan 2 = 0 dan ... dan r = 0
H1 : 1  0 atau 2  0 atau ... atau r  0

Langkah-langkah uji Breusch-Godfrey
• Langkah 1: Dapatkan penduga bagi model regresi

Yt 1   2 X 2 t   3 X 3t     k X kt  ut


Langkah 2: Dapatkan penduga galat

uˆt Yt  Yˆt


Langkah 3: Dapatkan penduga auxiliary regression bagi penduga galat sebagai
fungsi dari seluruh peubah eksogen dan galat sejumlah lag yang ingin diuji

uˆt 0  1 X 2t     k X kt   k 1uˆt  1     k  puˆt  p



Langkah 4: Dapatkan statistik uji berdasarkan koefisien
determinasi dari auxiliary regression R2

LM   n  r  R 2 ~  r2


Langkah 5: Tolak H0 jika ada bukti yang nyata dari statistik uji



Penentuan r tergantung dari periode data (bulanan, mingguan
dsb) dan sifat siklusnya.

Cara Mengatasi Autokorelasi
• Berdasarkan pengetahuan tentang ρ diketahui
– ρ diketahui atau
– ρ tidak diketahui

Mengatasi autokorelasi ketika ρ diketahui
• ρ diketahui dan diasumsikan autokorelasi terjadi seusai AR(1)
model.

Yt 1   2 X 2 t   3 X 3t     k X kt  ut

(1)

ut ut  1   t


Model yang sama berlaku pada waktu ke t-1

Yt  1 1   2 X 2 t  1   3 X 3t  1     k X kt  1  ut  1


Model pada t-1 dikalikan dengan ρ

Yt  1 1   2 X 2 t  1   3X 3t  1     k X kt  1  ut  1

(2)

• Persamaan (1) dikurangi dengan persamaan (2)

Yt 1   2 X 2 t   3 X 3t     k X kt  ut

Yt  1 1   2 X 2 t  1   3X 3t  1     k X kt  1  ut  1
Yt  Yt  1 1 1      2  X 2t  X 2t  1      k  X kt  1  X kt  1    ut  ut  1 
Yt* 1*   2 X 2*t     k X 3*t   t



Akibat pembedaan, pengamatan berkurang 1
Pengamatan pertama digantikan dengan:

Y1* Y1 1   2 , X i*1  X i1 1   2

Mengatasi autokorelasi ketika ρ tidak diketahui: CochraneOrcutt Iterative Procedure
• Langkah 1: duga model regresi dan dapatkan penduga galat
• Langkah 2: duga koefisien korelasi serial orde 1 dengan metode OLS
dari:

uˆt uˆt  1   t


Langkah 3: Lakukan transformasi untuk peubah peubah yang dipakai
dengan hubungan berikut:

Yt* Yt  ˆYt  1 , 1* 1 1  ˆ , X it*  X it  ˆX it 1
Y1* Y1 1  ˆ 2 , X i*1  X i1 1  ˆ 2


Langkah 4: Dapatkan penduga regresi dan penduga galat untuk
persamaan berikut:

Yt*  t*   2 X 2*t     k X 3*t   t



Ulangi lagi langkah 2 sampai dengan 4 sampai dipenuhi kriteria
berikut:

ˆ  iterasi ke  j   ˆ  iterasi ke   j  1   0