Resume Model Regresi Linier berganda

Resume Model Regresi
Linier
Oleh:
 Ivana Gabriella
 Rimbi Puspita Dini
 Lailatul Putri S.
17 Februari 2014

(111810101021)
(111810101037)
(111810101040)

Model Regresi Linier
3.1 Model Linier
Missal Y menunjukkan variabel yang dihubungkan dengan K variabel bebas

1,

,

dari fungsi .

=
Ketika

1,

,

+

(3.1)

linier, persamaan (3.1) ditulis
=

1 1

+

+

+

(3.2)

yang disebut model regresi linier.

3.2 Prinsip Kuadrat Terkecil Biasa (OLS)
Misal B himpunan vektor-vektor

= ℝk . untuk mencari

. Kita punya

′

= ( 1,

,

)

dari B yaitu meminimumkan jumlah kuadrat-kuadrat residual.
2

=

′

=

−

=

=1

′

−

(3.7)

diberikan oleh X dan y
=

′

+

′

′

−2 ′ ′

(3.8)

dan diturunkan terhadap
=2

2
2

′

−2 ′

(3.9)

=2 ′
(3.10)

Penyamaan derivatif pertama sampai nol disebut persamaan normal
′

= ′
(3.11)

Teorema 3.1
, dugaan dari y, memiliki nilai yang sama untuk semua solusi ′

=

(i)
(ii)

= ′

, jumlah persamaan yang didefinisikan di (3.7), mencapai minimum untuk
beberapa solusi ′

= ′

Bukti :
−

′

=

(i)

′

=

−

dengan

′

=

−

(ii)

′

−

=
′

=
=

′

−

=

′

−

′

′ (w independen)
−

′

−

′

=

+

−

+

−

′

−

−

+

−

−2 ′

′

−

+

−

′

−

′

=

′
′

′

−
′

−

+
−

+2

−

′

′

( − ) , gunakan (3.11)

( −

)

+ ′ ′

′

=

′

− ′

(3.14)

3.3 Sifat-Sifat Geometri dari OLS
Untuk X matriks TxK, didefinisikan daerah kolom
ℛ( ) = θ: θ = Xβ , βϵℝK

merupakan daerah bagian ℝT . Jika x = X′X

1/2

untuk x ∈ ℝT , prinsip kuadrat terkecil

sama seperti meminimumkan y − θ untuk θ ∈ ℛ( ).
Teorema 3.2

Nilai minimum dari y − θ untuk θ ∈ ℛ( ) dicapai pada � yaitu ( − �) ⊥ ℛ( ) oleh

karena itu

− � vektor ortogonal dari ℛ( ) ketika � proyeksi ortogonal y pada ℛ( )

sehingga menghasilkan eksplisit

�=� =
dimana � =

′

−

′

−

′ proyeksi ortogonal pada ℛ( )

′
(3.15)

bukti :
misal θ ∈ ℛ( ) sedemikian hingga ( − � ) ⊥ ℛ( ), sehingga ′
−�

2

−�+�−� ′

=

=

Karena syarat

−� ′

−�+�−�

−� + �−� ′ �−�

−� ′

−�

dicapai ketika � = �.

−�

− � = 0.

2

habis menggunakan kondisi yang ortogonal. Minimum

3.4 Estimasi Tak Bias Linier Terbaik
3.4.1 Teorema Dasar
′ = �2

=0,

(3.17)

dan X telah ditentukan atau matriks non stokastik berorder TxK, dengan rank lengkap K.

Lemma 3.3
< ∞ , �(. ) menyatakan varians, dan dimana �

=� ,�

Misal T statistik sehingga

merupakan parameter skalar. Kondisi perlu dan cukup T adalah MVUE (estimator tak bias
varians minimum) dari parameter � adalah
,

= 0 dan �( ) < ∞

= 0 ∀ sehingga

(3.18)

Bukti perlu :
Misal T MVUE dan t sedemikian hingga
setiap
�

⇒

⇒

+
2

�

∈ ℝ dan
=�

+2
,

2

+
,

�

=0

+2

,

0∀

= 0 dan �( ) < ∞ .

+

tak bias � untuk

�

Bukti cukup :
Misal

estimator tak bias dengan varians terbatas

�( − ) < ∞ , dan

�

=�

+

−

=�

=�

+�

−

+ �( − )

+2
�

−

sedemikian hingga

, −

−

=0,

′

Misal

= ( 1,

) estimasi tak bias dari parameter vektor � ′ = �1 ,

,

matriks.

�( 1 )

−� ′ =

−�

=

disebut sebaran matriks T.

( ,

2)

( ,

2)

…

,

( 1,

…

�( )

(3.19)

adalah MDUE (estimator tak bias sebaran minimum) dari �

0

− ( 0 ) non negatif atau

jika

1)

( 1,

,�

− ( 0)

(3.20)

=�

untuk T sedemikian hingga

Lemma 3.4
Jika

0

Bukti :

adalah MVUE � , = 1,

Pertimbangkan ′

0

,

, ′0 =

10 ,

tak bias untuk ′�. Karena

itu menunjukkan bahwa

,

adalah MDUE �

0

0,

= 0 untuk t sehingga

=0,

( ′ 0 , ) = 0 , yang ditunjukkan
′

�
dimana T estimator alternatif

0

0

=

′

0

′

(3.21)
.
0

(3.22)
Diperoleh persamaan karakteristik MDUE t dari � pada �0 :
, �0 = 0 ∀ sehingga

Misal
+

+ ′ fungsi linier dengan dugaan nol maka
′

′

=

+

⇒

= 0,

′

=0∀
=0

� = 0 ∀�

(3.23)

∈ ℛ( )

dimana Z matriks yang direntangkan pada kolom daerah ortogonal ℛ( ) dengan rank(Z)=Trank(X)

′

= ′ ′

(3.25)

Teorema 3.5
MDLUE (estimator linier tak bias sebaran minimum) dari
=

seperti estimator kuadrat terkecil

−1

′

adalah

′
(3.26)

dan sebaran matriks minimum adalah
�2

−1

′

(3.27)

Bukti :
+

Misal

estimator tak bias

maka

+

Jika

=

∀

+

⇒

= 0,

=
(3.28)

MDLUE gunakan persamaan (3.23)

0=

′

,

= �2

⇒

∀

′

=0⇒

∀
′

=

(3.29)

sehingga
=
′

= ⇔

=

,
′

=

−1

,

′

=

′

−1

′

(3.30)

diberikan MDLUE
=

−1

′

=

′

dengan sebaran matriks
′

=
=
= �2

′

Teorema 3.6
Misal

′

′

−1

−1
′

−1

′
′

fungsi linier

MDLUE dari ′ dimana

dimana

′

−

′

′

−1

−1

= �2

′

−1

sehingga ℛ( ) ⊂ ℛ( ′)
=

invers dari X’X.

′

−

maka

= ′

untuk beberapa

′ , dan sebaran matriks ′ adalah � 2 ′

′

−

.
,

Bukti :
Misal
=

Maka
=

estimator tak bias ′ maka

, ′
′ ′

=

′

⇒

= �2

=
′

′

=
−

′.

′

= ′

=0⇒

′ untuk beberapa B.

=

= ′ , memberikan

MDLUE dari ′ adalah
sehingga ( ′ ) = � 2 ′
bukan estimasi

parametrik

′

−

= ′

.

′

−

−

′

= ′

memiliki satu solusi, dan

′ = ′

tapi dapat digunakan untuk menghitung estimasi-estimasi terbaik fungsi

yang dapat diestimasikan.

3.4.2 Estimator Linier
Definisi 3.7

disebut estimator homogen dari

= 0, dilain sisi

jika

disebut

inhomogeneous.
Fungsi kuadrat dari variabel acak
, ,
dimana

−

=
0

adalah simetris dan

adalah
′

−

× -matrik.

(3.39)

Definisi 3.8 Persamaan Kuadrat dari sebuah estimator

dari

adalah terbatas

sebagai
, ,

−

=

′

Definisi 3.9 (R(A) superior) sebuah estimator
sebuah ( )-peningkatan dari estimator yang lain
1,

−

,

2,

1

−

2

(3.40)

dari

dari

,

disebut

( ) superior atau

jika
0

(3.41)

3.4.3 Kesalahan Rata-Rata Dispersi
Kesalahan rata-rata disperse didefinisikan sebagai matrik
,

=

−

kemudian kita menandakan estimator kovarian matrix

−

′

oleh �

(3.42)
:

=

jika

, maka

�

−

=

akan disebut tak bias untuk

bias. Perbedaan dari

dan

,

tak bias, maka

′

. Jika

adalah
,

jika

−

(3.43)
≠ , maka

disebut

−

=

=0

(3.44)

Berikut ini merupakan dekomposisi dari kesalahan pembubaran rataan:
,

=
�

−

−

+

+

,

,

−

−

+

′

′

=
(3.45)

Hal tersebut adalah kesalahan pembubaran rataan dari sebuah estimator adalah jumlah dari
kovarian matriks dan akar bias.

MDE superior
Definisi 3.10 (criteria I MDE) diberikan
Kemudian

2

disebut MDE-superior ke

1

1 (atau

2

dan

2

sebagai dua estimator dari .

disebut peningkatan MDE dari

1)

jika

turunan dari matriks MDE adalah nonnegatif terbatas, jika
∆

1,

2

=

−

1,

Bentuk fungsi skalar dari MDE yaitu:
, ,

=

2,

0

(3.46)

,

Teorema 3.11 Mempertimbangkan dua estimator

(3.47)
1

dan

2

dari . Berikut ini merupakan

pernyataan yang equivalen:

1,

−

,

=

untuk semua matrik dengan tipe

2,

,

=

′.

∆

∆

1, 2
1,

2

1,

2

0,

(3.48)

0

(3.49)

Bukti : Menggunakan (3.46) dan (3.47) kita mendapatkan
1,

,

dari teorema A.43 berikut bahwa
jika dan hanya jika ∆

1, 2

0.

−

2,

∆

,
1,

=
2

∆

0 untuk semua matrik

(3.50)
=

′

0

3.5

Estimasi (Prediksi) Kesalahan dengan Syarat � dan ��
Perkiraan

oleh

, sehingga diperoleh sisa
−

=
dimana � =

−

′

−�

=

(3.51)

′ adalah operator proyeksi di ℛ( ), sebagi sebuah estimator dari ,

dengan prediksi rataan kesalahan:
−

=

−�

=

= �2

−�

−�

= �2

−�

(3.52)

Teorema 3.12 Prediksi MDLU dari sebagai yang didefinisikan dalam (3.51).
Bukti: Diberikan ′ menjadi prediksi takbias dari . Maka
kesalahan dari dispersi adalah
Ambil −

′

−

=

′

=

′

=

′

′

=0∀ ⟹
′

−

= �2

′

(3.53)

′

−

, maka masalah tersebut menemukan
min

=0
−

=

(3.54)

Ketika � dan Z Memutar keseluruhan ℝ , kita dapat menulis
′

Diberikan

=�

+

′

′

=
=
=
=

dengan persamaan ketika

=
dari
1

2

=

−

=

dengan
1
−

′

−�

′

′

=

=�

′

=

′

−�

′

=

�

+
′

= 0. Maka

dan prediksi terbaik dari adalah

Menggunakan prediksi

′

′

′

−

′

−
′

′

=
−

′

′

+

+

′

−

′

′

,

′

′

=

�
′

−

′

−�

=

kita dapat memperoleh estimator tak bias dari � 2 sebagai

1
−

−�

=

1

−

′

�2
=
−

−�

(3.55)

−�

= �2

−
= �2
−

3.6

Pengelompokkan Regresi dibawah Kesalahan Normal
Semua hasil yang diperoleh adalah benar tanpa tergantung dengan distribusi nyata
dari distibusi acak
vektor

dari distribusi acak

= � 2 . Kita asumsikan bahwa

dibagi menurut suatu T-dimensi distribusi normal

(0, � 2 ), dengan kemungkinan kepadatan:
; 0, � 2

Komponen

′

= 0 dan

dengan ketentuan

2�� 2

=

=1

1
−
2

exp −

1
2� 2

= (2�� 2 )−2 exp − 2� 2
1

=1

2

2

(3.56)

( = 1, … , ) adalah bebas dan identik dengan distribusi

Hal ini merupakan suatu kasus umum dari T-dimensi distribusi normal
kepadatan
(�; , �) =

�

2�

1
2

−

0, � 2 .

= ( , �) dengan

1

exp − (� − )′� −1 (� − )
2

(3.57)

Pengelompokan model regresi linier dibawah kesalahan normal diberikan oleh
=
+ ,
~ (0, � 2 )
,

(3.58)
=

3.6.1 Prinsip Maximum-Likelihood (ML)

Definisi 3.13 Diberikan � = �1 , … , �

′ adalah sebuah variable acak

= �; � dimana parameter vektor � = �1 , … , �

dengan fungsi kepadatan

adalah unsur dari ruang parameter Ω yang berisi semua nilai dapat diterima.

′

Gagasan dasar dari prinsip ML adalah untuk mempertimbangkan kepadatan

= �; � untuk suatu perwujudan spesifik dari sampel�0 dari � sebagai fungsi

dari �:

� =

�1 , … , �

=

= �; �

� akan dikenal sebagai fungsi likelihood dari � yang diberikan oleh �0 .

Prinsip ML mendalilkan pilihan suatu nilai Θ ∈ Ω yang memaksimalkan

fungsi likelihood adalah

Θ

L Θ

3.6.5 Estimasi ML dalam Regresi Normal Klasik
Menurut Teorema A.82, kita mempunyai

Θ∈Ω
dari (3.58)

=
jadi fungsi likelihood dari

, �2

+ ~
diberikan oleh

, � 2 = (2�� 2 )−2 exp − 2� 2
1

(3.59)

−

′

−

(3.60)

Karena perubahan logaritma adalah monoton, dan hal tersebut sesuai untuk
, � 2 sebagai ganti dari

memaksimalkan ln

, � 2 , dengan argumen maksimal

yang tidak dapat berubah:
ln

1

, � 2 = − ln 2�� 2 − 2� 2
2

−

′

−

(3.61)

Jika tidak ada pembatasan utama dari parameter, maka ruang parameter yang
diberikan oleh Ω =

; �2 :

∈ ℝ ; � 2 > 0 . Kita memperoleh estimasi ML dari

dan � 2 dengan penyamaan derivatif pertama dengan nol (Teorema A.91-A.95):
ln

ln

=

=−

�2

1

2� 2

2� 2

+

Persamaan Likelihood diberikan oleh:

�2 =

1

2

′

1
2 �2 2
′

−

Teorema 3.14 Estimator ML dan OLS dari

−

=0

′

−

= ′
′

−

(3.62)

=0

−

(3.63)

(3.64)

adalah identik dalam model (3.59)

regresi normal klasik. Estimaror � 2 dan � 2 adalah asimtot tak bias.
3.7

Pengujian Hipotesis Linier
Dalam bagian ini kita akan mempertimbangkan masalah pengujian hipotesis linier
umum 0 :
= . Dengan R a K x s-matriks dan rank (R) = K-s, terhadap
alternatif 1 :
≠ di mana diasumsikan bahwa R dan r adalah non stokastik.

Hipotesis 0 merupakan vektor parameter β sesuai dengan K-s pembatas linier yang
tepat, independen linier, karena rank (R) = K-s. Hipotesis linier umum memiliki kasus
utama yaitu:

0

Kasus 1: = 0. × −
1 dalam bentuk berikut:
0:

adalah asumsi dari rank (X) = K, dengan

=

−1

=

∗

> 0.

Kasus 2:

−

×

∗

≠

1:

×

melengkapi R tersebut dengan

adalah reguler rank K. Diperoleh:
−1

1

×1

=

=

×
,

−

Kemudian dapat ditulis:
=

−1

×∈ =

1

=

2

=
Hipotesis
0:

2

1:

2

=

0

1

;

�2 > 0

1

+

setara dengan
1

≠ ;

1 1

2 2

,

×

2

×1

2

×

=

=

Ω

Θ

Θ

+� .

Ω=

; �2 :

; �2:

∈ℝ

), dan

1

⊂ Ω sub ruang di mana

∈ ℝ , �2 > 0 ,

= ; �2 > 0

,

Yang dapat diturunkan dengan cara berikut
Diketahui : Θ =

, �2

, �2 =

= 2�� 2

−

, � 2 , maka

, �2
2

−

,

+�

Sebagai uji statistika digunakan rasio likelihood, sebagai berikut:
⋋

−

�2 > 0

Ω seluruh ruang parameter ( 0
hanya 0
, sehingga

=

+�

1

=

−

1
2� 2

−

′

−

= 2�� 2

−

2

exp −

Oleh karena itu; ⋋

Di mana � 2

=

2
−

�2

2

�Ω2

�Ω2 adalah ML estimator dari � 2 bawah

di Ω.

0

Variabel acak ⋋
dapat mengambil nilai diantara 0 dan 1, jika
, pembilang dari ⋋
harus lebih besar dari penyebutnya, sehingga ⋋
harus
0
mendekati 1 dalam sampel berulang. Di sisi lain, ⋋
harus mendekati 0 jika 1 adalah
benar. Transformasi linier dari ⋋
:

=

−

⋋

=

2

� 2 −� Ω2
�Ω2

−

.

−1

−

Jika ⋋→ 0, maka → ∞, dan jika ⋋→ 1 maka
dan F cukup besar jika 1 adalah benar.

−

−

−1

→ 0, sehingga F dekat 0 jika

0

Menentukan F dan distribusi dua kasus hipotesis linier umum sebagai berikut:
Kasus 1: � = �

Model linier di bawah

0

∗

=

diberikan oleh

dan� 2 =

1

Model linier di atas Ω diperoleh dari teorema 3.14:

−

dan �Ω2 =

=

Berdasarkan perhitungan kemudian dihasilkan uji statistika:
− ∗
−

=
Distribusi F

′

′

′

−

∗

−

−

∙

Pembilang:
−

∗

=

−

= +
′

−1

′

′ independen dan dari Rank K,
−

∗ ′

′

−1

−

∗

′

+
−

~

∗

=

′

−
∗

′

∗ ′

∗

, �2
−1

′

−

1

∗

−

′

−

2

~� 2

(� −2

−

~� 2

2

∗ ′

′
0

∗

−

)

Penyebut:
′

−
−� = −

Diketahui :

−�

−1

′

(

′

−

−

=

′

−�

2
2

~� 2

=

′

−�

−

′adalah independen dari Rank T-K
)−1

′

=0

Berdasarkan di atas maka pembilang dan penyebut didistribusikan secara independen.
Dengan demikian rasio F memiliki properti sebagai berikut:



F didistribusikan sebagai , − (� −2 ( − ∗ )′ ′
−
F didistribusikan sebagai pusat , − di bawah 0 : =
0:

Daerah penerimaan

0

>

Daerah kritis :

− , − ,1−

∗

) di bawah
.

1

,

− , − ,1−

Kasus 2 : � > 0

∗

.

Mempertimbangkan dekomposisi model untuk menentukan ML estimator di bawah
membandingkan yang sesuai dengan ML estimator di atas Ω.
′

Diberikan

′
1

=

,

1 ×

Dan masing-masing
=

Menempatkan

′
2

1×

=
−

−

+ =

1 1

+

2 2

+

2

Karena Rank (X) = K, maka
(

1)

×

= ,

′
−1
1 1

sehingga matriks invers
ML estimator di bawah
Dan � 2 =

1

−

( 2)
=
×( − )

rank

1 1

dan

0 diberikan
′

−

1 1

− ,

′
−1
2 2

oleh

2

ada

= ,

2

=

′
−1 ′
1 1
1

0 dan

Pemisah b

−1
′
1 2
′
2 2

′
1 1
′
2 1

=

−1

′

=

′

′
1
′
2

Menggunakan rumus untuk invers dari hasil matriks dipartisi (teorima A.19)
′
−1
1 1

′
′
−1 ′
−1
1 2
2 1
1 1
′
−1
−1 ′
1 1
2

=

Di mana

′
2

1 2 dan

1

= −
′
2

=

1

=

2

2

2

=

−1

′
2

′
2

1
1

+

2( 2

− ) ,
1

=−

=−

′
−1 ′
1 1
1 2

2

′
−1 ′
1 1
1 2

−

−1

′
2

−

′
2 1

=

−1

−
1

− =

1

−

−1

= −�

,

1

′
−1 ′
1 1
1 2

′
2

′
2

−1

′
2

1

1

1

′
−1 ′
1 1
1

=

−1

′
−1 ′
1 1
1 2
−1 ′
2 1

′
−1 ′
1 1
1

=

1

−1

′
−1 ′
1 1
1

1

′
−1 ′
1 1
1

=

2

=

′
−1 ′
1 1
1 2
−1

−

−

2 2

−

−

,

2

2 2

−

.

Dekomposisi ���

Menulis dengan menggunakan simbol u dan v:
−

=

−

2

−

Dengan demikian ML estimator
berikut:
−

′

−

1 1

−

�Ω2 =
=

′

1

1

−
+

′

−

1

′

+

2

2

−

−2 ′ =

−

=

−

dapat diuraikan sebagai
′

−

′

=
� 2 − �Ω2 =

Atau

2

−

−

Diperoleh untuk kasus 2 :

′

1 1

′

−

2

−

−

1 1

2

−

′

∙

−
−

2

−

> 0 yaitu:

−
−

′

2

=
Distribusi F

−
−
2

′

Pembilang:
=

1 2

′
2

−1

1

adalah independen
=

=

=

′
2

1

=

=

−

−

2

1 2

= +
~ (
2

~� 2
~� 2
Penyebut:

2

−

di bawah

Karena

diperoleh

−�

2

−

−

0

−

′

=

−�

−�

2
2

′

2

−�

2

1

−

, �2 )

−

′

−

= ′

2

−�

=

−�

1

−�

=

1

− ,

′

=

1,

2

−1

−

2

� −2

−

=

2

′
2

−1

=

′
2

−1

1 2

~ �2
1,

−�

1 2

−

−1

′
2

2

−�

1

=0

−

2

= 0,0

Sehingga pembilang dan penyebut adalah distribusi independen. Jadi statistika uji F
didistribusikan di bawah 1 sebagai − , − (� −2 2 − ′
) dan sebagai pusat
2−
− , − di bawah 0 .
Daerah penerimaan

0

pada tingkat signifikan α diberikan oleh 0

Dengan demikian, daerah kritis diberikan oleh

>

− , − ,1−

.

− , − ,1−