Dimana intercept β
dan slope β
1
konstanta yang tidak diketahui. Diasumsikan masing- masing observasi, y, dapat digambarkan dengan model
Y = β + β
1
x + ε Di mana
ε adalah error random dengan rata-rata nol dan varians σ
2
. {ε} juga diasumsikan menjadi variabel-variabel random yang tidak berhubungan. Model regresi di atas terdiri dari
sebuah variabel bebas tunggal x yang sering disebut model regresi linier sederhana. Misalkan ada n pasangan observasi, katakana y
1
, x
1
, y
2
, x
2
, …. y
n
, x
n
. Data ini dapat digunakan untuk memperkirakan parameter
β dan
β
1
yang tidak diketahui.
2.2. Metode Kuadrat Terkecil Leat Square Method
Untuk menentukan persamaan regresi tersebut, teknik yang paling mudah adalah dengan “jalan kira-kira” dan langsung menarik garis lurus di sekitar titik-titiknya menurut pengamatan paling
dekat pada titik-titiknya yang berkerumunan. Kemudian dihitung besarnya konstanta dan derajat kemiringan. Akan tetapi untuk suatu penelitian, cara ini jarang dilakukan oleh karena terlalu
kasar, juga terlalu subjektif dan sedapat mungkin harus dihindari. Prosedur penarikan garis regresi yang banyak dikenal adalah metode kuadrat terkecil
least square. Metode ini memilih suatu garis regresi yang membuat jumlah kuadrat jarak vertikal dari titik-titik yang dilalui garis lurus tersebut sekecil mungkin. Dalam hal ini, akan
memperkirakan β
dan β
1
sehingga jumlah kuadrat dari deviasi atau simpangan antara observasi- observasi dan garis regresi menjadi minimum. Misalkan ada n pasangan observasi, katakan y
1
, x
1
, y
2
, x
2
, …. y
n
, x
n
. Data ini dapat digunakan untuk memperkirakan parameter β
dan β
1
sehingga jumlah kuadrat dari deviasisimpangan antara observasi-observasi dan garis regresi menjadi minimum.
Sehingga dapat ditulis : Y = β
+ β
1
X
i
+ ε i =1, …., n Dan jumlah kuadrat deviasi pada observasi-observasi garis regresi sebenarnya adalah
Universitas Sumatera Utara
[ ]
∑ ∑
= =
− −
− =
=
n i
n i
i i
i
X X
Y S
1 2
1 1
2
β β
ε
Dengan demikian meminimumkan fungsi kuadrat terkecil S adalah mempermudah jika ditulis kembali model tersebut, persamaan tersebut menjadi
ε β
β +
− +
= X
X Y
1
Dengan: :
∑
=
n i
i
X n
X 1
X
1
β β
β +
= .
Dalam persamaan diatas telah diperiksa variabel beban untuk rata-rata, dihasilkan dalam sebuah transformasi pada intercept. Maka persamaan model regresi linier sederhana yaitu :
ε β
β +
− +
=
1
X X
Y Dengan menggunakan persamaan model regresi linier sederhana tersebut, maka fungsi
kuadrat terkecil adalah :
[ ]
2 1
1 1
∑
=
− −
− =
n i
i
X X
Y S
β β
Dengan estimator β dan β
1
yang harus memenuhi :
[ ]
2
1 1
1
= −
− −
− =
∂ ∂
∑
= n
i i
X X
Y S
β β
β
[ ]
2
1 1
1 1
= −
− −
− −
= ∂
∂
∑
=
X X
X X
Y S
i n
i i
β β
β
Dari dua persamaan diatas menghasilkan persamaan normal kuadrat terkecil :
∑
=
=
n i
i
Y n
1
β atau
Y Y
n
n i
i
= =
∑
= ∧
1
1
β
Universitas Sumatera Utara
∑ ∑
= =
− =
−
n i
i n
i i
i
X X
Y X
X
1 1
2 1
β atau
2
1 1
1
∑ ∑
= =
∧
− −
=
n i
i n
i i
i
X X
X X
Y
β
∧
β dan
1 ∧
β adalah estimator untuk incerpt titik potong dan slope kemiringan. Estimator model regresi linier sederhana adalah :
1
X X
Y
i
− +
=
∧ ∧
∧
β β
untuk menyajikan hasil-hasil dalam susunan intercept yang asli β
1
maka
∧
β =
∧
β -
1 ∧
β
X
sehingga perkiraan yang cocok untuk model regresi adalah
1
X Y
∧ ∧
∧
+ =
β β
Persamaan regresi linier sederhana dapat ditulis dalam bentuk lain dengan memberi simbol khusus untuk pembilang dan penyebutnya yaitu :
S
XX
=
n X
X X
X
n i
i n
i i
2 1
2 1
1 2
− =
−
∑ ∑
∑
= =
S
XY
=
n Y
X Y
X X
X Y
n i
i n
i i
i i
n i
i i
− =
−
∑ ∑
∑ ∑
= =
= 1
1 1
Dengan : S
XX
: koreksi atau perbaikan jumlah kuadrat X dan S
XY
: perbaikan jumlah silang produk X dan Y, Sehingga estimator slope adalah :
1 ∧
β =
XX XY
S S
Selain estimator β
dan β
1
, menurut Montgomery dan Peck 1991 estimasi σ
2
juga dibutuhkan dalam uji hipotesis dan pembentukan estimasi interval yang berhubungan dengan
model regresi. Etimasi β
dan β
1
dapat diperoleh dari residual atau jumlah kuadrat galat yaitu :
Universitas Sumatera Utara
SS
E
=
∑ ∑
= =
∧
− =
n i
n i
i i
Y Y
1 1
2 2
1
ε
Bentuk tetap untuk SS
E
dapat disubstitusikan
1
X X
Y
i
− +
=
∧ ∧
∧
β β
ke dalam persamaan 8 dan dengan penyederhanaan akan menghasilkan, yaitu :
SS
E
=
XY n
i
S Y
n Y
∧ =
− −
∑
1 2
1 2
1
β
∑ ∑
− =
− ≡
− 2
2 1
2 1
Y Y
Y n
Y S
i n
i YY
Dengan : S
YY
= koreksi atau perbaikan jumlah kuadrat dari pengamatan. Sehingga :
SS
E
= S
YY
-
XY
S
1 ∧
β
Jumlah kuadrat residual mempunyai derajat kebebasan n-2 karena 2 derajat kebebasan adalah gabungan dari estimasi
∧
β dan
∧ 1
β yang terlihat dalam pembentukan Ŷ
i
. Nilai ekspektasi dari SS
E
adalah ESS
E
= n- 2σ
2
, jadi estimator tak bias dari σ
2
untuk regresi parametrik adalah :
E E
MS n
SS =
− =
∧
2
2
σ
2.3. Pengujian Hipotesis dalam Regresi Linier Sederhana
