2.3 Persamaan Regresi Linear
Model Regresi Linear dapat dinyatakan dalam persamaan:
4 Keterangan:
:vektor peubah tak bebas berukuran n x 1 :vektor parameter regresi berukuran p x 1
:matriks peubah bebas berukuran n x p :vektor galat berukuran
n x 1 Myers 1990
2.4 Pendugaan Koefisien Regresi Linear
Metode Kuadrat Terkecil adalah suatu metode untuk menghitung koefisien regresi
sampel sebagai penduga koefisien regresi populasi , sedemikian rupa
sehingga jumlah kuadrat galatnya memiliki nilai terkecil. Dengan bahasa matematik,
dapat dinyatakan sebagai berikut: Model sebenarnya adalah
Model estimasinya adalah 5
Galat error adalah 6
Jumlah kuadrat galat adalah 7
Jadi metode Kuadrat Terkecil adalah metode menghitung
sedemikian rupa sehingga persamaan 7 minimum. Caranya
adalah dengan membuat turunan parsial mula-mula terhadap
dan menyamakan dengan nol.
2
2 2
2 8
9 Draper Smith 1992
2.5 Pencilan
Pencilan outlier didefinisikan sebagai suatu pengamatan yang tampak bertentangan
atau tidak konsisten terhadap pengamatan yang lain.
Barnett Lewis 1994 Misalkan
terdapat n
buah data
pengamatan y
1
, y
2
, ..., y
n
. Q
1
dan Q
3
berturut- turut adalah kuartil pertama dan ketiga data
pengamatan. Pencilan antara lain dapat dideteksi sebagai pengamatan yang lebih
besar dari Q
3
+ 1.5 Q
3
– Q
1
atau lebih kecil dari Q
1
– 1.5 Q
3
– Q
1
. Tukey 1979
2.6 Regresi Kekar
Regresi kekar
ditujukan untuk
mengatasi penyimpangan-penyimpangan
sebagai pengganti metode OLS. Kelebihan metode
tersebut adalah
kurang peka
dibandingkan kuadrat terkecil terhadap penyimpangan-penyimpangan yang sering
terjadi dari asumsi ideal. Huber 1981
2.7 Metode Kekar
Metode alternatif lainnya yang bersifat kekar atau tahan terhadap data pencilan
antara lain: 1.
Metode Kuadrat Terkecil Terboboti Weighted Least Squares, WLS
2. Metode Simpangan Mutlak Terkecil Least Absolute Deviations, LAD
3. Metode Kuadrat Terkecil Terpangkas Least Trimmed Squares, LTS
4. Metode Median Kuadrat Terkecil Least Median of Squares, LMS
Yaffee 2002
2.8 Metode Median Kuadrat Terkecil
Metode Median
Kuadrat Terkecil
adalah salah satu metode estimasi dari keluarga
regresi kekar.
Metode ini
melakukan penghitungan
dengan menghilangkan pengaruh-pengaruh residu.
Dengan menggunakan
penduga yang
dihasilkan akan
lebih kekar
dalam menghadapi
pencilan, sehingga
untuk menghasilkan galat terkecil metode Kuadrat
Median Terkecil memiliki fungsi minimize
med
Rousseeuw 1984
2
2.9 Prosedur Metode Median Kuadrat Terkecil
Misalkan diberikan sebuah gugus data sampel berukuran N, dan ingin diduga
vektor θ berdimensi p yang berisi parameter dari gugus data tersebut. Langkah-langkah
yang dilakukan adalah : 1. Tentukan ukuran subset n, tentukan
jumlah subset M, dan tentukan juga batas kesalahan yang diinginkan γ
2. Secara acak, ambil M buah subset berukuran n dari sampel berukuran N.
Cari dugaan parameter θ
j
untuk setiap subset. Cari median dari kuadrat galat e
2 ij
dari setiap subset. Indeks i adalah indeks untuk sampel, i = 1, 2, 3, …, n dan
indeks j adalah untuk subset, j = 1, 2, 3, …, M
3. Definisikan m
= arg min
j
med
i
e
ij 2
sehingga subset θ
m
merupakan subset dengan median kuadrat galat terkecil dan
{e
im
} adalah vektor galat yang dihasilkan subset tersebut,
4. Hitung S
= 1.4826 1+
5 N p
+ ,med
i
e
im 2
10 5. Hitung bobot w
i
, misalkan dengan w
i
=1 , -
e
i
S
- ≤ γ dan w
i
=
s |e
i
|
, lainnya 6.
Berikan bobot w
i
kepada setiap sampel.
7. Lakukan pengepasan
dengan menggunakan metode Weighted Least
Squares menggunakan {w
i
} sebagai bobot untuk mendapatkan
final. Yingying C 2009
2.10 Prosedur Metode Kuadrat Terkecil Terboboti
1. Hitung galat model
1 23 4 , 6
dengan: 0 = data pengamatan ke-i,
1 23 4 , 6 = data hasil pendugaan ke-i, i = 1, 2 ,…, n
2. Hitung bobot data pengamatan ke-i w
i
yang didefinisikan sebagai berikut: 7
8 1 jika =
= jika =
? 12 dengan:
m = 1.345σ ; i = 1, 2, …, n σ = simpangan baku galat
3. Minimumkan
jumlah kuadrat
galat terkecil terboboti :
min 8 6 7
A
B Huber 1981
Pada metode
Kuadrat Terkecil
Terboboti ini, data pencilan diberi bobot 1 sehingga memiliki peranan yang kecil pada
saat peminimuman jumlah kuadrat galat. Oleh karena itu, metode ini menjadi tahan
terhadap pengaruh pencilan bersifat robust.
2.11 Metode Simpangan Mutlak Terkecil
Kategori