16
K i
q K
i
x jika
x
ξ ξ
≥ −
+
,
dengan
q K
i
x
+
−
ξ
=
K i
x jika
ξ
,
β adalah parameter model,
β
adalah intersep,
K q
+
β
adalah slope pada peubah x dan knot ke-K pada Spline berorde q, x adalah variabel respons,
K
ξ adalah knot ke-K
2.9 Estimasi Kuadrat Terkecil.
Terdapat beberapa metode untuk mengestimasi parameter dalam model regresi, salah satunya adalah metode kuadrat terkecil atau Ordinary Least Square.
Adapun kelebihan dari metode kuadrat terkecil adalah tidak memerlukan asumsi distribusi sedangkan kekurangan metode ini yaitu sangat sensitif untuk adanya
data outlier. Estimasi parameter diperoleh dengan cara meminimalkan jumlah kuadrat error. Akan dicari estimasi koefisien regresi untuk model umum regresi :
ε β
β β
β
+ +
+ +
+ =
k k
x x
x Y
...
2 2
1 1
Untuk i=1,2,...,n dimiliki model :
i ki
k i
i i
x x
x Y
ε β
β β
β
+ +
+ +
+ =
...
2 2
1 1
2.12 dengan
=
i
E
ε
;
2 2
σ ε =
i
E ;
=
s i
E
ε ε
; s
i ≠
Model di atas dapat dibentuk ke dalam matriks
ε X
β Y
+ =
2.13 dengan
=
n
Y Y
Y Y
2 1
=
nk n
n k
k
X X
X X
X X
X X
X X
2 1
2 22
21 1
12 11
1 1
1
17
=
k
β β
β β
1
=
n
ε ε
ε ε
2 1
Sehingga dapat juga ditulis sebagai berikut:
+
=
n k
nk n
n k
k
n
X X
X X
X X
X X
X
Y Y
Y
ε ε
ε
β β
β
2 1
1 2
1 2
22 21
1 12
11 2
1
1 1
1
dari persamaan 2.13 diperoleh
X β
Y ε
− =
∑
=
=
n i
i
S
1 2
ε
Prinsip estimasi kuadrat terkecil adalah meminimumkan jumlah kuadrat galat,
sehingga
X β
X β
X β
Y X
β Y
Y Y
X β
Y X
β Y
ε ε
+ −
− =
− −
=
Matriks
X β
Y =
X β
Y
karena berukuran 1x1, maka
X β
X β
Y X
β Y
Y β
X β
Y Y
Y ε
ε
+ −
= +
− =
2 2
Estimasi dari parameter diperoleh dengan menyamadengankan nol hasil dari derivatif atau turunan pertama dari jumlah kuadrat errornya, yaitu :
β X
β X
β β
Y X
β β
Y Y
β X
β X
β Y
X β
2 Y
Y β
ε ε
∂ ′
′ ∂
+ ∂
′ ′
∂ −
∂ ′
∂ =
∂ ′
′ +
′ ′
− ′
∂ =
∂ ′
∂
2
18
X β
X 2
Y X
2 β
ε ε
′ +
′ −
= ∂
′ ∂
Hasil ini harus memenuhi
= ∂
′ ∂
β ε
ε
2.14 Penjabaran dari persamaan 2.14 sebagai berikut :
= ∂
′ ∂
β ε
ε
Y X
X β
X X
β X
Y X
′ =
′ =
′ +
′ −
2 2
Y X
X β
I Y
X X
X β
X X
X X
1 1
1
− −
−
′ =
′ ′
= ′
′ ˆ
ˆ
Y X
X β
1 OLS
−
′ =
ˆ 2.15
Untuk menunjukkan bahwa
ε ε
′
minimum, maka hasil derivatif pertama dari jumlah kuadrat error harus diturunkan sekali lagi sehingga menghasilkan derivatif
atau turunan kedua, dan nilainya harus lebih besar dari nol.
X X
X β
X 2
X β
β X
β X
β X
β Y
β β
ε ε
′ =
′ +
′ −
∂ ∂
=
∂
′ ′
+ ′
′ −
′ ∂
∂ ∂
= ∂
′ ∂
2 2
2
2 2
Y Y
Y
Jaminan bahwa nilai dari
ε ε
′
minimum adalah bahwa turunan ke dua dari
ε ε
′
terhadap β harus bernilai positif. Sehingga nilai
ε ε
′
akan minimum apabila nilai
X X
′ 2
lebih besar dari nol. Karena matriks
X X
′
adalah definit positif dengan semua unsur diagonalnya berbentuk kuadrat, maka turunan kedua dari
ε ε
′
terhadap β bernilai positif yang berarti
Y X
X β
1 OLS
−
′ =
ˆ minimum .
19
2.10 Outlier
