Regresi Least Absolute Deviation Regresi L M-ESTIMATOR

Karena nilai studentized residual dari data adalah 2 2 − is ε maka dapat diyatakan bahwa data tidak memuat outlier. Contoh 3.6 Dengan menggunakan studentized residual, tentukan apakah data pada Contoh 3.2 memuat outlier? Jawab: Dari M-file pada program MATLAB yang ditunjukkan dalam Lampiran B diperoleh nilai i h = [0.1639 0.1443 0.1431 0.1738 0.2228 0.7625 0.3896] T i ε = [-31.0180 -16.3205 -11.4718 -1.9256 7.7719 25.7972 27.1668] T s = 23.7812 dengan memasukkan nilai i h , i ε , dan s ke Persamaan 3.2 diperoleh nilai studentized residual sebagai berikut: is ε = [-1.4265 -0.7419 -0.5221 -0.0891 0.3707 2.2258 1.4622] T Karena studentized residual dari data observasi ke-6 adalah 2.2258 2 maka dapat di- nyatakan bahwa data memuat outlier.

B. Regresi Least Absolute Deviation Regresi L

 Ketika error diasumsikan tidak normal, maka pendugaan parameter β menggunakan metode maximum likelihood dengan kriteria selain kuadrat terkecil. Sebagai contoh andaikan error i ε , n i , , 2 , 1 L = saling bebas dan berdistribusi double exponensial σ ε σ ε i e f i − = 2 1 3.3 Fungsi densitas double exponensial mempunyai puncak tertinggi σ 2 1 pada = i ε dan i ε dapat bernilai negatif atau positif. Maka prinsip maximum likelihood untuk penduga β akan meminimumkan: ∑ = n i i 1 ε yaitu jumlah harga mutlak residual, ini dinamakan regresi 1 L , sedangkan metode maximum likelihood dengan kriteria kuadrat terkecil dengan distribusi error 2 2 2 2 1 2 2 σ ε πσ ε − − = e f i 3.4 meminimumkan ∑ = n i i 1 2 ε yaitu jumlah kuadrat error, kuadrat terkecil diberi nama regresi 2 L . Ada juga metode regresi p L yang meminimumkan ∑ = n i p i 1 ε

C. M-ESTIMATOR

M-Estimator adalah tipe penduga maximum likelihood. Andaikan error berdistribusi sesuai dengan distribusi fungsi ε f , maka penduga maximum likelihood MLE dari β yang ditulis dengan βˆ memaksimumkan besarnya ∏ ′ − = n i i Y f 1 β x i 3.5 dengan i x′ adalah baris ke i dari , Χ n i , , 2 , 1 L = pada model . ε Χβ Υ + = Jika arg max adalah nilai yang memaksimumkan suatu fungsi, maka pernyataan diatas dapat ditulis sebagai ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∏ ′ − = = n i i Y f 1 max arg ˆ β x β i 3.6 Jika fungsi densitas ε f selalu bernilai positif yaitu lim ∞ → ε f ε , dan fungsi ln adalah fungsi yang meningkat, maka untuk memaksimumkan ε f sama halnya dengan memaksimumkan ε f ln , sehingga diperoleh [ ] [ ] 3.7 1 ln max arg ln ln ln max arg ln max arg 1 ln max arg ˆ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ∑ = ′ − = ′ − + + ′ − + ′ − = ′ − ⋅ ′ − ⋅ ′ − = ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ∏ = ′ − = n i i Y f i Y f i Y f i Y f i Y f i Y f i Y f n i i Y f β i x β i x β i x β i x β i x β i x β i x β i x β L L Jika error berdistribusi normal maka Persamaan 3.7 dapat ditulis sebagai berikut: 3.8 2 2 ln 2 1 max arg 2 2 ln 2 1 max arg ln 2 2 ln 2 1 max arg ln 2 ln max arg 2 ln max arg ˆ 1 2 2 1 2 1 2 2 2 1 2 2 2 1 2 2 2 2 1 2 1 2 2 2 2 1 2 ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ′ − − + ∑ − = ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ′ − − − = ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ − − + − = ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + = ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = = = = = = ′ − − − = ′ − − − n i i n i n i i n i i n i i Y n i i Y Y Y e Y e e σ πσ σ πσ σ πσ πσ πσ σ σ β x β x β x β i i i β i x β i x Jika 2 ˆ σ adalah penduga untuk 2 σ , maka nilai tersebut dianggap konstan. Karena nilai ∑ = ⎥⎦ ⎤ ⎢⎣ ⎡− n i 1 2 2 ln 2 1 πσ dan 2 2 σ merupakan nilai konstan yang akan hilang dalam proses pendiferensialan maka untuk memaksimumkan penduga βˆ nilai tersebut dapat diabaikan sehingga 3.9 max arg ˆ 1 2 ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ′ − − = ∑ = n i i Y β x β i Jika arg min adalah nilai yang meminimumkan suatu fungsi, maka [ ] x f x f − = min arg max arg , sehingga diperoleh 3.10 min arg min arg ˆ 1 2 1 2 ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∑ ′ − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∑ ′ − − − = = = n i i n i i Y Y β x β x β i i Jadi penduga βˆ untuk distribusi normal meminimumkan 2 1 ∑ ′ − = n i i i Y β x 3.11 Jika error berdistribusi tidak normal, maka pendugaan β mengikuti selain distribusi normal, andaikan error berdistribusi double exponensial maka Persamaan 3.7 dapat di- tulis sebagai berikut: 3.12 2 ln max arg 2 ln max arg ln 2 ln max arg ln 2 ln max arg 2 ln max arg ˆ 1 1 1 1 1 1 1 1 ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ∑ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ′ − − + ∑ − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ∑ ′ − − − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ∑ ′ − − + − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ + = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = = = = = = ′ − − − = ′ − − − n i i n i n i i n i i n i i Y n i i Y Y Y e Y e e σ σ σ σ σ σ σ σ σ σ β x β x β x β i i i β i x β i x Jika σˆ adalah penduga untuk σ maka nilai tersebut dianggap konstan. Karena nilai [ ] ∑ − = n i 1 2 ln σ dan σ merupakan nilai konstan yang akan hilang dalam proses pendiferensialan maka untuk memaksimumkan penduga βˆ nilai tersebut dapat diabaikan sehingga 3.13 min arg min arg max arg ˆ 1 1 1 ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ′ − = ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ′ − − − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ′ − − = ∑ ∑ ∑ = = = n i i n i i n i i Y Y Y β x β x β x β i i i Jadi penduga βˆ untuk distribusi double eksponensial meminimumkan ∑ ′ − = n i i i Y 1 β x 3.14 Gagasan ini dapat diperluas, andaikan u ρ adalah suatu fungsi untuk u dan σ adalah penduga parameter skala, dengan σ β i x′ − = i Y u , dan ε f ln − = ρ maka Persamaan 3. 7 menjadi ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ′ − = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ − − − = ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ∑ = ′ − − = ∑ ∑ = = n i i n i i Y Y n i i Y 1 1 min arg min arg 1 max arg ˆ β x β x β i x β i i ρ ρ ρ sehingga dapat didefinisikan suatu penduga βˆ yang meminimumkan ∑ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ′ − n i i i Y 1 σ ρ β x 3.15 dengan 6745 , 1 med 1 med ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − − = h h ε ε σ dengan ⎪ ⎪ ⎪ ⎪ ⎩ ⎪ ⎪ ⎪ ⎪ ⎨ ⎧ + + + = ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ gasal n untuk 2 1 genap n untuk 1 2 2 2 1 med n n n i ε ε ε ε Dapat dilihat jika 2 u u = ρ maka kriteria meminimumkan sama dengan Persamaan 3.11, jika u u = ρ maka kriteria meminimumkan sama dengan Persamaan 3.14. Dalam kasus yang specifik ini, u ρ dan distribusi dasar saling terkait. Untuk selanjutnya u ρ akan menggunakan fungsi Huber’s ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ ≤ − = a u a a u a u u untuk 2 2 1 u untuk 2 2 1 ρ 3.16 dengan a adalah tuning konstan. Tuning konstan a dalam regresi robust menentukan kerobustan dan efisiensi. Tuning konstan dipilih untuk memberikan variansi asimtotik sehingga didapat effisiensi asimtotik pada distribusi normal. Dengan menggunakan efisiensi asimtotik 95 pada distribusi normal standar diperoleh tuning konstan a = 1.345. Pembahasan tuning konstan tidak dibahas secara mendalam.

D. Prosedur M-Estimasi