UJI HIPOTESIS REGRESI BERGANDA

  

UJI HIPOTESIS

UJI HIPOTESIS

REGRESI BERGANDA

REGRESI BERGANDA

TUJUAN

TUJUAN

Menjelaskan teknik uji hipotesis dalam

  

Menjelaskan teknik uji hipotesis dalam

regresi berganda (full model dan

regresi berganda (full model dan

reduced model)

reduced model)

  Dalam regresi berganda muncul per(?)an tentang kontribusi bbrp IV untuk memprediksi nilai Y. Tiga per(?)an:

  a. An overall test: apakah semua IV (the fitted model) berkontribusi bermakna utk memprediksi Y?;

  b. Uji utk adisi satu var.: apakah pe(+) satu IV me(+) secara bermakna utk memprediksi Y lebih besar di- banding tanpa pe(+)an var. baru dlm model?;

  c. Uji utk adisi sekelompok var.: apakah pe(+)an atau adisi sekelompok IV akan me(+) secara bermakna utk memprediksi nilai Y dibanding tanpa pe(+)an kelompok var. tsb yg sudah ada di model? ₂ Ke 3 per(?) dijawab dgn uji hipotesis stat. dr masing per(+)an. Setiap uji hipotesis di ekspresikan dgn uji F

  1. Uji F dlm analisa regresi adalah rasio dari dua independent estimate variance

  2 ˆ

   O

  F 

  2 ˆ

  

  2 ₂ ˆ

   bila H benar (true)

  

  adl estimasi 

  O

  2 ₂

   bila H salah (not true) adl estimasi  _O

  ˆ 

  Dlm tabel ANOVA  Mean Square, digunakan mengestimasi varians. Jika H salah (not true) _O

  2

  2

  maka estimasi

  ˆ   

  O

  2

  2 ˆ

  Nilai F mendekati 1  jika H benar (true),

     O O

  dan >1 bila H salah (not true). Makin besar nilai F _O makin besar kemungkinan H salah (not true) _{2 O}

  2. Masing uji (test) dpt di interpretasikan sbg perban- dingan 2 model. Model pertama disebut ‘full model’ atau ‘complete model’ dan model berikutnya adl ‘reduced model’ (full model dikurangi satu atau lebih IV) Contoh:

  X X + E

   full model

  Y =  +  +  _{1 1 2 2} X + E  reduced model Y =  +  _{1 1} Dengan H =0  ‘the full model’ dikurangi satu _O :  ₂ atau lebih IV menjadi ‘reduced model’.

  Contoh itu menjelaskan bahwa ‘reduced model’ (X ) ₁ mrpk bagian dr IV atau ‘full model’ (X & X ) _{1 2} Di ‘full model’ kita H , di ‘reduced model’:

  :  = _{1 2} X & X=X +X

  Y= + +E dgn = = _{1 1 1 2 1 2} Uji Kemaknaan Regresi Berganda Kita punya suatu model dengan k-IV:

  X X X +E Y= + + +…….+ _{1 1 2 2 k k}

  Maka Null Hypothesis dpt ditulis: Tidak perbedaan bermakna dalam ‘overall regression’ atau H =0, dan uji hipotesa digunakan

  : = =……….+ _{1 2 k n 2} ANOVA:

  SSY Y Y   _i

     _{i  1} MS Re gr SSY SSE k

     _n

  F   ₂

  ˆ MS Re sid SSE n k

  1   SSE Y Y

      _{i i}

   Merupakan Total Sum of Square dan Error

  

Sum of Square. F-hitung dibandingkan dgn F

• - =F sesuai dgn  = 0.05. tabel k,n-k-1 H ditolak bila F >= F

• -hitung -tabel

  F diperoleh dgn cara lain yaitu -hitung

  2 r k F

  

  2 1 r n k

  1     

    Contoh: Model

  X X

  X Y= + + +

  1

  1

  2

  2

  3

  3

  Dengan sample 12 anak, kita mempunyai k=3

  2 MS-Regr=231.02, MS-Resid=24.40 & r =0.782 maka kita memperoleh: 231 .

  02 . 7802

  3 F 9 .

  47    24 .

  40 1 . 7802

  12

  3

  1     

   = 4.07  H Titik kritis untuk =0.05 adl F 3,8,0.95 ditolak pada =0.05  ditulis p<0.05  umumnya ditulis F = 4.07 (p<0.05) 3,8,0.95

  2 Hasil ini disimpulkan vars HGT, AGE dan AGE secara bersama dpt memprediksi WGT (dgn

data yang ada). Namun, tidak selalu demikian,

  Pelajari tabel-tabel ANOVA berikut HGT + E Model 1: WGT =  +  ₁ Coefficient Standard Error Partial F

  = 6.190

  

  = 1.073 S =0.242

  19.66

   _{1  1} Estimated model: WGT=6.190+1.073HGT

  ANOVA Table _{2 2} Source df SS MS F r

  Source df SS MS F r

  Regression 1 588.92 588.92 19.67 .6630

  Regression 1 588.92 588.92 19.67 .6630

  Residual 10 299.33

  29.93 Residual

  10 299.33

  29.93 Total

  11 888.25

  Total 11 888.25

  AGE + E Model 2: WGT =  +  ₂ Coefficient Standard Error Partial F

   = 30.571

  

   = 3.643 = 0.955

  14.55

   ₁ S ₂ Estimated model: WGT = 30.571 + 3.643AGE

  ANOVA Table _{2 2} Source df SS MS F r

  

Source df SS MS F r

  Regression 1 526.39 526.39 14.55 .5926

  Regression 1 526.39 526.39 14.55 .5926

  Residual 10 361.86

  36.19 Residual

  10 361.86

  36.19 Total

  11 888.25

  Total 11 888.25

  2

  (AGE) +E Model 3: WGT =  +  ₃ Coefficient Standard Error Partial F

   = 45.998

  

   = 0.206 =0.055

  14.03

   ₁ S _{1 2} Estimated model: WGT=45.998 + 0.206 (AGE)

  ANOVA Table _{2 2} Source df SS MS F r

  Source df SS MS F r

  Regression 1 521.93 521.93 14.25 .5876

  Regression 1 521.93 521.93 14.25 .5876

  Residual 10 366.32

  36.63 Residual

  10 366.32

  36.63 Total

  11 888.25

  Total 11 888.25

  _{1 2} AGE + E Coefficient Standard Error Partial F = 6.553

  

   = 0.722 = 0.261

  7.65

   ₁ S ₁

   = 2.050 = 0.937

  4.79

   ₂ S ₂ Esti’d model: WGT= 6.553 + 0.722HGT+ 2.050AGE

  ANOVA Table _{2 2} Source df SS MS F r

  Source df SS MS F r

  Regression 2 692.82 346.41 15.95 .78

  Regression 2 692.82 346.41 15.95 .78

  Residual 9 195.43

  21.71 Residual

  9 195.43

  21.71 Total

  11 888.25

  2 _{1 3} (AGE) + E

  Coefficient Standard Error Partial F = 15.118

  

   = 0.726 = 0.263

  7.62

   ₁ S ₁

   = 0.115 = 0.054

  4.54

   ₃ S _{3 2} Esti’d model: WGT = 15.118 + .726HGT + .115(AGE)

  ANOVA Table _{2 2} Source df SS MS F r

  Source df SS MS F r

  Regression 2 689.65 344.82 15.63 .7764

  Regression 2 689.65 344.82 15.63 .7764

  Residual 8 198.60

  22.07 Residual

  8 198.60

  22.07 Total

  11 888.25

  Total 11 888.25

  2 _{1 2 3} (AGE) + E

  Coefficient Standard Error Partial F = 3.438

  

   = 0.724 = .277

  6.83

   ₁ S ₁

   = 2.777 = 7.427

  0.14

   ₂ S ₂

   = -0.042 = 0.422

  0.01

   ₃ S _{3 2} E.M. WGT = 3.438 + .724HGT + 2.777AGE - .042(AGE)

  ANOVA Table _{2 2} Source df SS MS F r

  

Source df SS MS F r

  Regression 3 693.06 231.02 9.47 .7802

  Regression 3 693.06 231.02 9.47 .7802

  Residual 8 195.19

  24.4 Residual

  8 195.19

  24.4

  Kita sudah mengetahui jawaban dr pertanyaan no.1  perhatikan EM 6. Menggunakan X =HGT sbg IV, nilai 588.92 adalah SS ₁ Regresi utk model garis lurus; nilai SSE utk model ini adl hanya menambahkan 195.19, 103.90 dan 0.24 secara bersama adl 299.33 dgn dk=10 (8+1+1) F-stat utk menguji kemaknaan persamaan garis lurus dgn hanya memasuk HGT adl F=(588.92/1)/(299.33/10)= 19.67  p<0.05 Utk menjawab per(?)an 2 & 3gunakan partial F test. Uji ini akan memberikan gambaran apakah kita hrs me(+) semua var. atau hanya satu atau dua IV saja.

  Null Hipothesis Bila kita ingin menguji apakah pe(+)an satu var. X* akan secara bermakna meningkatkan prediksi Y ketika bbrp var. X , X ,……,X sdh dlm model? _{1 2 p} Maka hipotesanya: H : ‘X* tdk me(+) secara bermakna utk memprediksi Y setelah ada X , X ,....,X dlm _{1 2 p} model’  d.p.l

  H

  X X +…., : * = 0 utk model Y= + + _{1 1 2 2} X

• + +*X*
_{p p} Ini mrpk prosedur utk membandingkan antara ‘full model’ X , X ,…….,X dan X* sbg IV dgn _{1 2 p}

  ‘reduced model’ X ,X ,……,X (tanpa X*) karena _{1 2 p}

  ANOVA Tabel utk WGT dgn HGT, AGE, (AGE) ² Source Source

  0.24

  103.90

  103.90

  4.78

  4.78

  (.05<p<.1) (.05<p<.1)

  X X _{3 3} l l

  X X _{1 1} , X

  , X _{2 2}

  1

  1

  0.24

  103.90

  0.24

  0.24 Residual Residual

  8

  8

  195.19

  195.19

  24.40

  24.40 Total Total

  11

  11

  888.25

  103.90

  1

  df

  1

  df

  SS

  SS

  MS

  MS

  F

  F

  r2

  r2

  X X _{1 1}

  1

  588.92

  1

  588.92

  588.92

  588.92

  19.67

  19.67

  .7802

  .7802

  Regresi X

  Regresi X _{2 2}

  l l

  X X _{3 3}

  888.25

  Uji Partial F  Null Hypothesis Andaikan kita uji apakah pe(+)an X* secara bermakna meningkatkan prediksi Y setelah X , X , ….., X sudah _{1 2 p} ada di model. Maka Ho: X* tidak meningkatkan secara bermakna prediksi Y setelah X , X , …., X ada di model _{1 2 p} atau Ho: *=0 didalam model

  X X

  X y =  +  +  + …..+  +*X* + E _{1 1 2 2 p p} Dengan perkataan lain kita membandingkan 2 model: Full model  X , X , ……, X dan X* sebagai IV dan _{1 2 p}

  Reduced model  X , X , ….., X Ini _{1 2 p} berarti kita menguji model regresi yang paling tepat, apakah pe(+) variabel X* meningkatkan secara bermakna prediksi Y setelah di model ada X , X , …,X _{1 2 p}

  Prosedur Uji parsial F utk mengetahui peran X* setelah ada var. X , X , ……, X didalam model, kita hrs hitung _{1 2 p} Sum of Square full model X , X , ….., X , X* dan _{1 2 p}

  Sum of Square reduced model X , X , ……, X  di _{1 2 p} ANOVA table: Regression X*lX , X , ……, X dan Sum of Square _{1 2 p} dihitung: SS dr pe(+) X* setelah ada X , X , …, X = _{1 2 p}

  Regr SS full model: X , X ,….., X , X* - Regr SS _{1 2 p} reduced model: X , X , …., X  _{1 2 p} SS (X*lX ,X , ….X ) = Regr SS (X , X , ….X , X*) – _{1 2 p 1 2 p}

  Regr SS (X , X , ……, X ) _{1 2 p}

  X Jadi utk model Y =  +  X +  _{1 2 2} dengan H = 0

  : ₂ SS(X lX ) = Regr SS (X ,X ) – Regr SS (X ) = _{2 1 1 2 1} 692.82 - 588.92 = 103.90

  X X

  X Utk model Y =  +  +  +  _{1 1 2 2 3 3} SS (X lX , X ) = Regr SS(X ,X ,X ) – Regr SS (X ,X ) _{3 1 2 1 2 3 1 2} = 693.06 – 692.82 = 0.24 Simpulan uji hipotesa: ‘penambahan var. X* kedalam model yang sudah ada X , X , ….., X tidak meningkat- _{1 2 p} kan secara bermakna utk memprediksi Y  atau

  

F(X*lX ,X ,.,X ) = pe(+) SS setelah ada X ,X ,., X / MS Resid model

_{1 2 p 1 2 p} dgn var X ,X ,….., X , X* _{1 2 p}

  F(X lX ) = SS(X lX ) / MS Residual (X ,X ) = _{2 1 2 1 1 2} (103.90)/(195.19+0.24)/9 =4.78 dan F(X lX , X ) = SS(X lX , X ) / MS Resid (X , X , X ) = _{3 1 2 3 1 2 1 2 3}

  0.24 / 24.4 = 0.01 Dari tabel F kita lihat bahwa untuk F = 3.36 dan _1,9,0.90 F = 5.12 maka hasil uji statistik untuk F(X lX ) = _{1,9,0.95 2 1}

  4.78  artinya nilai p: 0.05<p<0.1, artinya kita menolak H pada  = 0.1  disimpulkan bahwa pe(+)an var. AGE me(+) nilai utk memprediksi Y pada  = 0.1 tidak pada  = 0.05 Uji F(X lX ,X ) = 0.01  p>0.1 kita menerima H , _{3 1 2} disimpulkan bahwa model yang paling sesuai (the AGE best fitted model): Y =  + HGT +  _{1 2}

  Uji t sebagai alternatif Cara yang sama sperti uji F parsial adl menggunakan uji t dgn dk = n-k-1. Uji t fokus uji null hipotesa H0: * = 0  * adl nilai koefisien dr X* di model

  X X

  X regresi: Y =  +  +  , ….,+  +*X* _{1 1 2 2 p p} untuk menguji H = 0 digunakan uji : 

  ˆ

• S t  

  ˆ

• 

  Dalam uji ini kita menolak H : * = 0 jika ltl > t _{n-p-2, 1-a/2}  uji dua arah; Ha: * # 0 T > t _{n-p-2, 1-a}  uji satu arah; Ha: *>0

  Uji t dua arah memberikan hasil yang sama dengan uji F parsial = 0 dalam model Contoh: uji H0:  ₃ X

  X X + E Y = +  +  +  _{1 1 2 2 3 3} dari ANOVA table 6 kita akan memperoleh

  ˆ t S . 0417 . 4224 .

  1     

   ˆ

  3 

3 Nilai tersebut kita kuadratkan:

  ₂ t = 0.01  = parsial F(X lX ,X ) _{3 1 2}

  

SUMBER DF SS MS F

REGRESI x

  1

  1 3196 3196 37.5

  X

  2 | x

  1 1 498 498

  5.8 RESIDUAL 27 2301 85.2 TOTAL 29 5996