Metode Kuadrat Terkecil Analisis Regresi
n x
x n
x y
x y
b
i i
i i
i i
2 2
1
∑ ∑
∑ ∑
∑
− −
=
2.18
Penduga persamaan regresi dapat ditulis x
x b
y x
b x
b y
x b
b y
i i
i i
− +
= +
− =
+ =
1 1
1 1
ˆ 2.19
Sekarang perhatikan kesamaan berikut:
i i
i i
y y
y y
y y
ˆ ˆ
− +
− =
− Ruas kiri dan kanan dikuadratkan dan dijumlahkan akan diperoleh
{ }
∑ ∑
∑ ∑
∑
= =
= =
=
− −
+ −
+ −
= −
+ −
= −
n i
n i
n i
i i
i i
i n
i n
i i
i i
i
y y
y y
y y
y y
y y
y y
y y
1 1
1 2
2 1
1 2
2
ˆ ˆ
2 ˆ
ˆ ˆ
ˆ 2.20
Perkalian silang yang terakhir pada persamaan 2.20 adalah
∑ ∑
∑
− −
− =
− −
i i
i i
i i
i i
y y
y y
y y
y y
y y
ˆ ˆ
ˆ ˆ
ˆ
Bagian kedua ruas kanan sama dengan nol menurut persamaan 2.15 adalah
ˆ
1
= −
− =
−
∑ ∑
i i
i i
x b
b y
y y
Bagian pertama ruas kanan juga sama dengan nol karena
ˆ ˆ
ˆ ˆ
ˆ
1 1
1 1
= −
− +
= −
+ −
= −
+ =
−
∑ ∑
∑ ∑
∑
i i
i i
i i
i i
i i
i i
i i
x x
b b
y b
x y
y b
y y
b y
y x
b b
y y
y
Jadi persamaan 2.10 dapat ditulis kembali sebagai
∑ ∑
∑
− +
− =
−
2 2
2
ˆ ˆ
i i
i i
y y
y y
y y
2.21 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Persamaan 2.21 merupakan persamaan dasar dalam analisis regresi dan analisis variansi. Ruas kiri disebut Jumlah Kuadrat Total JKT menyatakan jumlah
penyimpangan Y disekitar nilai rata-ratanya. Bagian pertama ruas kanan disebut Jumlah Kuadrat Regresi JKR, merupakan variansi respons disekitar nilai rata-
ratanya. Bagian kedua ruas kanan disebut Jumlah Kuadrat Galat JKG, bagian ini
mengukur galat dari variansi total JKT yang tidak dapat diterangkan oleh X atau bagian yang sifatnya acak. Jadi persamaan 2.21 dapat ditulis sebagai
JKT=JKR+JKG Jika pengaruh X terhadap Y besar maka diharapkan JKR cukup besar
dibandingkan dengan JKG. Bila JKR membesar maka JKG mengecil, dan sebaliknya, sedangkan JKT tetap. Untuk menentukan apakah pengaruh suatu
variabel bebas X besar atau kecil terhadap variabel respon Y diperlukan pembanding baku. Pembanding tersebut tidak dipengaruhi oleh baik buruknya
model yang digunakan. Pembanding baku tersebut adalah penduga tak bias dari
2
σ , variansi ε . Umumnya
2
σ tidak diketahui, jadi harus diduga dari sampel. Penduga
2
σ yang tidak bias dapat diperoleh dari jumlah kuadrat galat yaitu JKGn-2 disebut Rata-rata Kuadrat Galat. Rata-rata kuadrat galat hanya akan
menduga tanpa bias bila model yang digunakan tepat. Bila model yang digunakan keliru maka akan menduga dengan bias. Jadi penggunaan rata-rata kuadrat galat
sebagai penduga selalu dengan anggapan bahwa modelnya telah tepat. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Tabel 2.9 Analisis Variansi untuk regresi Linier Sederhana Sumber
Jumlah Kuadrat db
Rata-rata kuadrat F
Regresi
∑
− =
2
ˆ y
y JKR
i
1 RKR=JKR1
RKG RKR
F =
Galat
∑
− =
2
ˆ
i i
y y
JKG
n-2 RKG=JKGn-2 Total
∑
− =
2
y y
JKT
i
n-1
Pada kolom keempat memberikan jumlah kuadrat dibagi dengan derajat bebas
untuk regresi dan galat. Tidak dituliskan jumlahnya pada baris total karena hal itu tidak berlaku bagi JKT. Dalam praktek akan menghitung rasio RKRRKG. Bila
rasio lebih besar dari 1 secara berarti significant maka disimpulkan bahwa ≠
β . Bila rasio sama dengan 1 maka kesimpulannya
= β
yaitu X tidak mempengaruhi respon Y . Dalam prakteknya kendati
= β
tidak mengharapkan RKRRKG tepat sama dengan 1 disebabkan fluktuasi sampel sehingga rata-rata
RKRRKG akan berfluktuasi disekitar 1. Untuk menentukan apakah rasio ini sama atau lebih besar 1 digunakan bantuan tabel t atau tabel F. Rasio RKRRKG
mempunyai distribusi F dengan derajat bebas 1 dan n-2. Yang pertama derajat bebas pembilang dan yang kedua derajat bebas penyebut. Dengan demikian dapat
didefinisikan statistik uji
∑ ∑
− −
− =
= 2
ˆ 1
ˆ
2 2
n y
y y
y RKG
RKR F
i i
i
2.22
Nilai F sering pula disebut F hitung, kemudian dibandingkan F tabel. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
3. Model Regresi Berganda
Dengan bertambah banyaknya variabel bebas yang disertakan dalam suatu model regresi berganda, notasi yang dipergunakan dalam menganalisis model ini
akan menjadi bertambah kompleks. Oleh karena itu untuk memudahkan penulisan dan pemeriksaan sifat regresi berganda, pendekatan yang digunakan adalah
dengan menggunakan notasi matriks.
Definisi:
Suatu model yang menghubungkan variabel tak bebas Y pada suatu himpunan varibel bebas
{ }
k
x ,...,
x ,
x
2 1
yaitu ε
β β
β β
+ +
+ +
+ =
k k
x ...
x x
y
2 2
1 1
2.23 disebut statistik linier.
Data yang diperoleh untuk menduga model berasal dari
n
individu dengan nilai pengamatan sebagai berikut:
Nilai Pengamatan
Pengamatan y
1
x
2
x
…
k
x 1
1
y
11
x
12
x
…
k
x
1
2
2
y
21
x
22
x
…
k
x
2
Μ Μ
Μ Μ
Μ
n
n
y
1
n
x
2
n
x …
nk
x Keseluruhan pengamatan diatas masing-masing memenuhi model 2.23 dan
memberikan bentuk persamaan berikut: PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
1 1
12 2
11 1
1
... ε
β β
β β
+ +
+ +
+ =
k k
x x
x y
2 2
22 2
21 1
2
... ε
β β
β β
+ +
+ +
+ =
k k
x x
x y
2.24 …………………………………………
n nk
k n
n n
x x
x y
ε β
β β
β +
+ +
+ +
= ...
2 2
1 1
Secara umun persamaan regresi berganda dapat diringkas menjadi
i ki
k i
i i
x ...
x x
y ε
β β
β β
+ +
+ +
+ =
2 2
1 1
2.25 Persamaan 2.25 dapat ditulis lebih sederhana dengan notasi matriks menjadi
ε X
β Y
+ =
2.26 atau
⎥ ⎥
⎥ ⎥
⎦ ⎤
⎢ ⎢
⎢ ⎢
⎣ ⎡
n
y y
y Μ
2 1
=
⎥ ⎥
⎥ ⎥
⎦ ⎤
⎢ ⎢
⎢ ⎢
⎣ ⎡
nk n
n k
k
x x
x x
x x
x x
x
Λ Μ
Μ Μ
Μ Λ
Λ
2 1
2 22
21 1
12 11
1 1
1
⎥ ⎥
⎥ ⎥
⎦ ⎤
⎢ ⎢
⎢ ⎢
⎣ ⎡
k
β β
β
Μ
1
+
⎥ ⎥
⎥ ⎥
⎦ ⎤
⎢ ⎢
⎢ ⎢
⎣ ⎡
n
ε ε
ε
Μ
2 1
Pendugaan nilai parameter
β dilakukan dengan menggunakan metode kuadrat
terkecil, yaitu dengan meminimumkan jumlah kuadrat simpangan antara nilai- nilai pengamatan
n i
Y
i
, .....
, 1
, =
terhadap nilai-nilai harapannya, n
i Y
E
i
, .....
, 1
, =
. Dengan
Y E
Y e
− =
maka jumlah kuadrat simpangan adalah
∑
=
=
n i
1
e e
e
2
Y E
Y Y
E Y
− ′
− =
Xb Y
Xb Y
− ′
− =
Xb Y
X b
Y −
− =
Xb X
b Y
X b
- Xb
Y Y
Y +
− =
Xb X
b Y
X b
Y X
b Y
Y +
− −
= karena
Y X
b
adalah skalar maka
Xb X
b Y
X 2b
Y Y
+ −
= Penentuan nilai-nilai dugaan
b
dari parameter-parameter yang meminimumkan
e e
dengan mencari turunan parsial pertama
e e
, terhadap setiap unsur dari
β ,
dan menyamakan dengan nol, kemudian menyelesaikan persamaan yang diperoleh.
= ∂
∂
b e
e
= ∂
+ −
∂
b Xb
X b
Y X
2b Y
Y
= ∂
∂ +
∂ ∂
− ∂
∂
b Xb
X b
b Y
bX 2
b Y
Y
Proses penurunan terhadap
b
dapat dilihat pada lampiran 2.
= +
− X
2bX Y
2X Xb
2X Y
2X =
Xb X
Y X
=
Y X
X X
b
1
−
= 2.27
Pendugaan terhadap
2
σ Dengan notasi
β X
Y ˆ
ˆ =
untuk menyatakan vektor nilai dugaan Y, maka dugaan
simpangan itu disebut sebagai Galat. Jumlah kuadrat galat JKG adalah
∑
=
− =
n 1
i 2
Y Y
ˆ JKG
Y Y
Y Y
ˆ ˆ
− ′
− =
Y Y
Y Y
ˆ ˆ
− −
=
Xb Y
Xb Y
− ⎟
⎠ ⎞
⎜ ⎝
⎛ ′
− =
Xb Y
X b
Y −
− =
Y X
X X
X Y
X Y
X X
X Y
1 1
− −
− ⎟
⎠ ⎞
⎜ ⎝
⎛ ′
− =
Y X
X X
X Y
X X
X X
Y Y
1 1
− −
− −
= Y
X X
X X
I X
X X
X I
Y
1 1
− −
− −
= Y
X X
X X
X X
X X
X X
X 2X
I Y
1 1
1
− −
−
+ −
= Y
X X
X X
X X
X 2X
I Y
1 1
− −
+ −
= Y
X X
X X
I Y
1
−
− =
Y X
X X
X Y
Y Y
1
−
− =
Y X
b Y
Y −
=
Akan ditunjukkan bahwa 1
1
2
− −
= −
− =
k n
JKG k
n e
e s
adalah penduga tak bias
untuk
2
σ . Karena JKG
E k
n k
n e
e JKG
E 1
1 1
− −
= −
− =
dengan menemukan
JKG E
maka akan terlihat bahwa
2 2
σ =
s E
Diketahui
Xb Y
E =
dan Var-Cov
Y
= I
2
σ sehingga
AXb X
b I
A tr
AY Y
E
2
+ =
σ PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
diperoleh Y
X X
X X
I Y
E JKG
E
1 −
− =
{ }
Xb X
X X
X I
X b
I X
X X
X I
tr
1 2
1 −
−
− +
− =
σ
2 1
+ −
=
−
I X
X X
X I
r σ
2
σ X
r n
− =
dimana
1 +
= k X
r
2
1 σ
+ −
= k
n disimpukan bahwa penduga
2
ˆ σ adalah
1 ˆ
2
+ −
= k
n JKG
E σ
1 1
− −
− =
+ −
= k
n Y
X b
Y Y
k n
JKG
Untuk selanjutnya
2
ˆ σ dinotasikan dengan
2
s