Prosedur M-Estimasi OUTLIER DAN REGRESI ROBUST

6745 , 1 med 1 med ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − − = h h ε ε σ dengan ⎪ ⎪ ⎪ ⎪ ⎩ ⎪ ⎪ ⎪ ⎪ ⎨ ⎧ + + + = ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ gasal n untuk 2 1 genap n untuk 1 2 2 2 1 med n n n i ε ε ε ε Dapat dilihat jika 2 u u = ρ maka kriteria meminimumkan sama dengan Persamaan 3.11, jika u u = ρ maka kriteria meminimumkan sama dengan Persamaan 3.14. Dalam kasus yang specifik ini, u ρ dan distribusi dasar saling terkait. Untuk selanjutnya u ρ akan menggunakan fungsi Huber’s ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ ≤ − = a u a a u a u u untuk 2 2 1 u untuk 2 2 1 ρ 3.16 dengan a adalah tuning konstan. Tuning konstan a dalam regresi robust menentukan kerobustan dan efisiensi. Tuning konstan dipilih untuk memberikan variansi asimtotik sehingga didapat effisiensi asimtotik pada distribusi normal. Dengan menggunakan efisiensi asimtotik 95 pada distribusi normal standar diperoleh tuning konstan a = 1.345. Pembahasan tuning konstan tidak dibahas secara mendalam.

D. Prosedur M-Estimasi

Estimasi-M meminimumkan penduga β Persamaan 3.15. Jika fungsi pada Persamaan 3.15 diturunkan secara parsial terhadap parameter k j j , , 2 , 1 , , K = β dan menyamakan hasilnya dengan nol menghasilkan 1 + = k p persamaan berikut k , 0,1,2, j 0, ˆ 1 K = = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ − ∑ = n i i i ij Y x σ ψ β x 3.17 dengan u u ∂ ∂ = ρ ψ dan ij x adalah entri ke-j dari , , , , , 1 2 1 ik i i i x x x K = ′ x . Didefinisikan suatu fungsi bobot yaitu: n , 1,2, i , ˆ ˆ K = ′ − ′ − = σ σ ψ β β x β x i i i i i Y Y w 3.18 Maka bagian kiri dari Persamaan 3.17 dapat ditulis 3.19 ˆ 1 ˆ 1 ˆ 1 ˆ ˆ ˆ 1 ˆ ˆ ˆ ˆ 1 1 1 1 1 1 β x β x β x β x β x β x β x β x β x i i n i ij i i n i ij i i i n i ij i i i i i i n i ij i i i i n i i i ij n i i i ij w x Y w x - Y w x - Y Y Y ψ x Y Y - Y ψ x - Y ψ x ′ − = ′ = ′ ′ − ′ − = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ′ − ′ − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = β β β σ σ σ σ σ σ σ σ σ σ Masukkan Persamaan 3.19 ke Persamaan 3.17 diperoleh 3.20 , , 2 , 1 , , 1 1 1 1 k j Y w x w x w x Y w x i i n i ij i i n i ij i i n i ij i i n i ij K = ∑ = ′ ∑ = ′ ∑ − ∑ = = = = β β β β β x β x Bagian kiri dari Persamaan 3.20 dalam bentuk matriks adalah 3.21 2 1 2 1 2 22 12 1 21 11 2 1 2 1 2 22 21 1 12 11 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ n nk k k n n n nk n n k k x x x x x x x x x w w w x x x x x x x x x β β β M L M M M L L L M M M L L L M M M L L Bagian kanan dari Persamaan 3.20 dalam bentuk matriks adalah 3.22 2 1 2 22 21 1 12 11 2 1 2 1 2 22 21 1 12 11 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ nk n n k k n nk n n k k Y Y Y Y Y Y Y Y Y w w w x x x x x x x x x L M M M L L L M M M L L L M M M L L Dengan memasukkan Persamaan 3.21 dan 3.22 ke Persamaan 3.20 dalam bentuk matriks dapat ditulis sebagai berikut Υ W Χ Χβ W Χ β ′ = ′ β 3.23 dengan β W adalah matriks diagonal n n × dari bobot, dengan elemen-elemen diagonal β β β n w w w , , , 2 1 K . Persamaan ini dikenal sebagai persamaan normal kuadrat terkecil terboboti. Jika invers dari Χ W Χ β ′ ada, katakanlah 1 − ′ Χ W Χ β , maka dengan mengalikan di muka kedua sisi dari 3.23 dengan invers ini didapatkan 3.24 1 1 1 1 Υ W Χ Χ W Χ β Υ W Χ Χ W Χ I β Υ W Χ Χ W Χ β Χ W Χ Χ W Χ β β β ′ ′ = ′ ′ = ′ ′ = ′ ′ − − − − β β β β β Dalam makalah ini β W menggunakan bobot kriteria Huber’s. Fungsi bobot Huber’s dapat dicari dengan menurunkan fungsi u ρ Persamaan 3.16 terhadap u, sehingga diperoleh: ⎪ ⎩ ⎪ ⎨ ⎧ = ≤ a u a u a u u untuk u untuk sgn ψ 3.25 dengan u u ∂ ∂ = ρ ψ dan du u d u = sgn dimana ⎪ ⎪ ⎩ ⎪ ⎪ ⎨ ⎧ − = = jika 1 jika jika 1 sgn u u u u Fungsi u ρ dan u ψ Huber disajikan dalam gambar 3.8 Gambar 3.8.a. Fungsi u ρ Huber 0.0 0.5 1.0 0.5 1.0 1 2 3 1 2 3 U PSI Gambar 3.8.b. Fungsi u ψ Huber Berdasarkan Persamaan 3.18 yaitu u u W ψ β = , dengan σˆ β x i i Y u ′ − = maka fungsi bobot huber’s adalah ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ ≤ = a a a W u untuk 1 u untuk u β 3.26 dengan du u d u sgn 1 = Fungsi bobot Huber disajikan dalam gambar 3.9 Gambar 3.9. Fungsi bobot Huber Fungsi bobot Huber’s merupakan sebuah matriks diagonal β β β n w w w , , , 2 1 K yang tiap elemennya bernilai ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ u a , 1 min . Pada umumnya M-Estimasi Huber akan memberikan bobot yang kecil bobot 1 β i w untuk a u , namun ketika a u ≤ M- estimasi akan memberikan bobot 1 = β i w . Ketika 1 W = β maka n 1 β β β ˆ ˆ ˆ = = = L sehingga model regresi robust sama dengan model regresi kuadrat terkecil. Kesukaran dalam memecahkan masalah pendugaan β adalah bahwa β W tergantung pada β dan β tergantung pada β W , sehingga untuk mendapatkan nilai β digunakan suatu iterasi. Untuk mencari penduga awal βˆ dapat digunakan penduga kuadrat terkecil, dan untuk mendapatkan bobot awal W dapat menggunakan rumus bobot Huber’s dengan nilai 1 h − = σ ε u , β X Y ε ˆ − = , i i X X h 1 − ′ ′ = X X dan 6745 , 1 med 1 med ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − − = h h ε ε σ . Selanjutnya masukkan bobot awal W ke Persamaan 3.24 sehingga didapatkan solusi 1 ˆ β . Υ W Χ Χ W Χ β 1 1 ˆ ′ ′ = − 3.27 Pada langkah selanjutnya, dihitung kembali bobot dari 1 W dengan menggunakan rumus bobot Persamaan 3.26 tetapi nilai ε menggunakan 1 ˆ β sebagai pengganti βˆ yaitu 1 ˆ β X Y ε − = . Pada umumnya, untuk q W bobot yang diberikan dapat menyelesaikan K , , q q q q 1 , ˆ 1 = ′ ′ = − + Υ W Χ Χ W Χ β 1 3.28 Langkah tersebut membutuhkan beberapa iterasi sampai mencapai konvergen, yaitu selisih nilai 1 q β + ˆ dengan q βˆ mendekati nol. Prosedur untuk mendapatkan penduga parameter yaitu iterasi yang disebut de- ngan iteratively reweighted least squares IRLS, tahapannya adalah: 1. menentukan nilai residual ε 2. Menentukan ˆ σ dan fungsi pembobot W 3. Mencari penduga pada iterasi L , 2 , 1 = q q dengan weighted least square. Υ W Χ Χ W Χ β 1 1 1 ˆ − − − ′ ′ = q q q dengan 1 − q W merupakan matriks diagonal dengan elemen diagonalnya adalah 1 − q i w . Sehingga penduga parameter pada iterasi pertama 1 = q 4. Mengulang tahap 2 dan 3 hingga didapatkan penduga parameter yang konvergen Contoh 3.6 Sebuah toko memiliki rincian banyaknya barang yang terjual beserta harganya yang disajikan dalam Tabel 3.4. Dengan X = banyaknya barang yang terjual dan Y = harga barang dalam ribuan Tabel 3.4. Banyak barang yang terjual dan harga barang Observasi X Y 1 18 770 2 16 785 3 15 790 4 12 800 5 10 810 6 30 825 7 6 830 Dengan menggunakan data yang disajikan dalam Tabel 3.4 dan Contoh 3.2, bahwa outlier berada pada sumbu X yaitu pada observasi ke-6. Ambil 5 nilai outlier yang berbeda yaitu 30, 40, 48, 150, dan 150.000. Dengan mengubah-ubah data obser- vasi ke-6 dengan kelima nilai tersebut sedangkan data yang lain tetap, tentukan model regresi robust dari masing-masing nilai outlier. Bandingkan model regresi robust den- gan model regresi kuadrat terkecil, apakah model regresi robust sama dengan model regresi kuadrat terkecil? Jelaskan Jawab: Karena outlier berada pada sumbu X yaitu pada observasi ke-6, maka data pada observasi ke-6 akan diubah-ubah dengan nilai 30, 40, 48, 150, dan 150.000, sedangkan data yang lainnya tetap. Untuk mendapatkan model regresi robust dari kelima nilai tersebut digunakan program MATLAB. Dari M-file pada program MATLAB yang secara lengkap diberikan dalam Lampiran B, diperoleh model regresi kuadrat terkecil yang diberikan dalam Tabel 3.5. Dengan menggunakan nilai penduga βˆ model regresi kuadrat terkecil yang dapat dilihat pada Tabel 3.5 diperoleh nilai ε , h , dan ˆ σ yang dapat dilihat pada Lampiran C, selanjutnya untuk mendapatkan penduga βˆ akan dicari dengan menggunakan iterasi yaitu Iteratively Reweighted Least Squares IRLS yang tahapan penyelesaiannya diberikan dalam Lampiran B. Untuk mendapatkan penduga βˆ akan digunakan kriteria Huber’s. Model regresi robust dari kelima perubahan nilai outlier diberikan dalam Tabel 3.5 dan bentuk kuadrat terkecil dan bentuk robust ditunjukkan dalam Tabel 3.6. Tabel 3.5.Model Regresi Kuadrat Terkecil dan Model Regresi Robust Data Outlier Regresi Kuadrat Terkecil Regresi robust 30 = Yˆ 803.7408 - 0.1513 X = Yˆ 850.8747 - 4.1047 X 40 = Yˆ 797.2385 + 0.2507 X = Yˆ 842.6575 - 3.4602 X 48 = Yˆ 795.6952 + 0.3211 X = Yˆ 795.6952 +0.3211X 150 = Yˆ 795.8804 + 0.1711 X = Yˆ 795.8804 + 0.1711 X 150000 = Yˆ 797.4982 + 0.0002 X = Yˆ 797.4982 + 0.0002 X Tabel 3.6. Bentuk kuadrat terkecil dan bentuk robust Data Outlier Bentuk kuadrat terkecil dan bentuk robust 30 5 10 15 20 25 30 720 740 760 780 800 820 840 data MKT Robust 40 5 10 15 20 25 30 35 40 700 720 740 760 780 800 820 840 data MKT Robust 48 5 10 15 20 25 30 35 40 45 50 770 780 790 800 810 820 830 data MKT Robust Data Outlier Bentuk kuadrat terkecil dan bentuk robust 150 50 100 150 770 780 790 800 810 820 830 data MKT Robust 150000 5 10 15 x 10 4 770 780 790 800 810 820 830 data MKT Robuist Untuk nilai outlier 30 dan 40 model regresi robust tidak sama dengan model regresi kuadrat terkecil hal ini disebabkan karena nilai bobotnya bukan matriks yang setiap elemennya bernilai satu. Sedangkan untuk nilai outlier 48, 150, 150000 model regresi robust sama dengan model regresi kuadrat terkecil hal ini disebabkan karena nilai bobotnya merupakan matriks yang setiap elemen-elemennya bernilai satu. Nilai bobot untuk masing-masing simulasi diberikan dalam Lampiran C. Contoh 3.7 Sebuah toko memiliki rincian banyaknya barang yang terjual beserta harganya yang disajikan dalam Tabel 3.7. Dengan X = banyaknya barang yang terjual dan Y = harga barang dalam ribuan Tabel 3.7. Banyak barang yang terjual dan harga barang Observasi X Y 1 18 770 2 16 785 3 15 790 4 12 800 5 10 810 6 7 885 7 6 825 Apakah data dalam Tabel 3.7 memuat outlier? Jika ya, ambil 5 nilai outlier yang berbeda yaitu 885, 950, 5000, 9999, dan 9999999. Dengan mengubah-ubah nilai outlier dengan kelima nilai tersebut sedangkan data yang lain tetap, tTentukan model regresi robust dari masing-masing nilai outlier. Bandingkan model regresi robust dengan model regresi kuadrat terkecil, apakah model regresi robust sama dengan model regresi kuadrat terkecil? Jelaskan Jawab: Untuk mengetahui apakah data dalam Tabel 3.7 memuat outlier atau tidak maka terlebih dahulu dihitung nilai kuartil Q 1, 2, dan 3 serta jangkauan IQR, Interquartile Range seperti yang tercantum dalam Tabel 3.8 Tabel 3.8. Kuartil dan jangkauan Y Q1 785 Q2 800 Q3 825 IQR 40 1.5IQR 60 Dari Tabel 3.8. outlier terletak pada daerah Y 725 dan Y 885. Karena nilai Y pada observasi ke-6 yaitu Y = 885 berada pada daerah outlier maka data tersebut memuat outlier di sumbu Y. Dengan menggunakan SPSS yang disajikan dalam boxplot akan tampak seperti Gambar 3.10. Y 760.00 780.00 800.00 820.00 840.00 860.00 880.00 900.00 6 Gambar 3.10. Boxplot untuk variabel Y Dari Gambar 3.10. terlihat bahwa data pada observasi ke-6 berada di daerah outlier. Jadi data tersebut memuat outlier di sumbu Y. Karena outlier berada pada sumbu Y yaitu pada observasi ke-6 maka data pada observasi ke-6 akan diubah-ubah dengan nilai 885, 950, 5000, 9999, dan 9999999 sedangkan data yang lainnya tetap. Untuk mendapatkan model regresi robust dari kelima nilai tersebut akan dibantu dengan program MATLAB. Dari M-file pada program MATLAB yang secara lengkap diberikan dalam Lampiran D, diperoleh model regresi kuadrat terkecil yang diberikan dalam Tabel 3.8. Dengan menggunakan nilai penduga βˆ model regresi kuadrat terkecil yang dapat dilihat pada Tabel 3.9 diperoleh nilai ε , h , dan ˆ σ yang diberikan dalam Lampiran E, selanjutnya untuk mendapatkan penduga βˆ akan dicari dengan menggunakan iterasi yaitu Iteratively Reweighted Least Squares IRLS yang tahapan penyelesaiannya diberikan dalam Lampiran D. Untuk mendapatkan penduga βˆ akan digunakan kriteria Huber’s. Model regresi robust dari kelima simulasi diberikan dalam Tabel 3.9 dan bentuk kuadrat terkecil dan bentuk robust ditunjukkan Dalam Tabel 3.10. Tabel 3.9. Model regresi Kuadrat terkecil dan Model regresi Robust Data Outlier Regresi Kuadrat Terkecil Regresi robust 885 = Yˆ 891.6667 - 6.8651 X = Yˆ 859.5152 - 4.8041 X 950 = Yˆ 931.9048 - 9.4444 X = Yˆ 859.5152 - 4.8041 X 5000 = Yˆ 3439.0 – 170.2 X = Yˆ 859.5152 - 4.8041 X 9999 = Yˆ 6533.7 – 368.5 X = Yˆ 859.5152 - 4.8041 X 9999999 = Yˆ 6190800 – 396800 X = Yˆ 859.5152 - 4.8041 X Tabel 3.10 bentuk kuadrat terkecil dan bentuk robust Data Outlier Bentuk kuadrat terkecil dan bentuk robust 885 6 8 10 12 14 16 18 760 780 800 820 840 860 880 900 data MKT Robust 950 6 8 10 12 14 16 18 760 780 800 820 840 860 880 900 920 940 960 data MKT Robust Data Outlier Bentuk kuadrat terkecil dan bentuk robust 5000 6 8 10 12 14 16 18 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 data MKT Robust 9999 6 8 10 12 14 16 18 -2000 2000 4000 6000 8000 10000 data MKT Robust 9999999 6 8 10 12 14 16 18 -2 2 4 6 8 10 x 10 6 data MKT Robust Untuk beberapa nilai outlier yang digunakan sebagai simulasi model regresi robust tidak sama dengan model regresi kuadrat terkecil. Oleh karena itu model regresi robust tidak terpengaruh adanya data outlier. 49

BAB IV APLIKASI REGRESI ROBUST