BAB 2 LANDASAN TEORI 2.1 Regresi Linier - Perbandingan Metode Least Trimmed Squares Dan Penduga-S Dalam Mengatasi Data Pencilan Dengan Simulasi Data

BAB 2 LANDASAN TEORI

2.1 Regresi Linier

  Analisis regresi digunakan untuk mengetahui hubungan antara variabel terikat (Y) dengan satu atau lebih variabel bebas (X). Menurut Hair et al (2009) regresi linear

  

sederhana dapat efektif dengan ukuran sampel sebanyak 20 observasi. Menurut

Nawari (2010), model regresi linier untuk satu variabel bebas yaitu model regresi

  linier sederhana, dinyatakan dalam persamaan berikut:

• = +

  2.1

1 Keterangan:

  i = 1, 2, ..., Y i = variabel terikat X i = variabel bebas

  , = parameter regresi

  1

  = sisaan/galat Nilai dan adalah parameter regresi yang tidak diketahui nilainya dan akan

  1 dicari nilai estimasinya.

  Model penduga regresi linier sederhana untuk persamaan 2.1 adalah sebagai berikut: =

• 1

  2.2

  � ̂ ̂ Keterangan:

  = nilai yang diestimasi �

  , = penduga parameter ̂ ̂

  1

2.2 Metode Kuadrat Terkecil

  , Metode kuadrat terkecil merupakan salah satu penduga parameter (nilai )

  ̂ ̂

  1

  model regresi linier sederhana. Menurut Sembiring (1995), metode kuadrat terkecil merupakan metode yang meminimumkan jumlah kuadrat sisa (selisih antara data yang sebenarnya dengan data dugaan dari model regresi yang terbentuk). Dari persamaan regresi linier sederhana 2.1, nilai residu (sisaan) ke-i pada model yaitu:

  =

  2.3 − �

  = )

• 1

  2.4 − ( ̂ ̂

  Prinsip dasar metode kuadrat terkecil adalah meminimumkan jumlah kuadrat sisaan yang dinyatakan sebagai berikut:

2 Minimum

  2.5 ∑

  =1

  2

  2

  = ∑

  ∑ � − � �

  =1 =1

  2

  = ) ∑ � − ( ̂ ̂

• 1 � =1

  2

  2

  =

  2.6 ∑

  ∑ � − ̂ − ̂

  1 � =1 =1

  Keterangan: = data sebenarnya = data dugaan

  � , = penduga parameter

  ̂ ̂

  1

  2

  = sisaan kuadrat

2 Andaikan dinotasikan dengan

  ∑ , merupakan fungsi dari nilai ̂

  =1

  dan sehingga nilai-nilai

  1

  ̂ dapat ditentukan dengan menurunkan persamaan (2.6) terhadap dan kemudian menyamakan tiap turunannya dengan nol,

  ̂ ̂

  1

  diperolehlah nilai sebagai berikut:

  = 0 = 0 − 2 ∑ − 0 + 2 ∑ � ̂ ̂ �

• 1

  =1 =1 �

  = + + − ∑ ̂

  1 � = 0

  ∑ � ̂

  =1 =1 �

  =

• =1 =1

  2.7 ∑ ∑

  1

  ̂ ̂

  dan = 0 + 2 = 0

• 1 �
₁ =1 =1 �

  − 0 − 2 ∑ ̂ ∑ � ̂

  = = 0 + +

  1

  − ∑ ∑ � ̂ ̂ � ₁ =1 =1 �

  2

• =

  2.8 ∑ ̂ ∑ ̂ ∑

  1 =1 =1 =1

  Dari persamaan 2.7 maka akan dicari nilai sebagai berikut: ̂

  = ∑

• 1 ∑ =1 =1

  ̂ ̂

  ∑ − ̂

  1 ∑ =1 =1

  = ̂

  =

  2.9

  1

  ̂ � − ̂ � Selanjutnya, dari persamaan 2.8, akan dicari nilai sebagai berikut:

  ̂

  1

  2

  = ∑ ̂ ∑ ̂

• 1 ∑ =1 =1 =1
₁ ∑ ∑ − �

  2 =1 =1

• 1 ∑
₁ =1 =1 ₂ ∑ ∑ � �∑ �

  = � � ∑ ̂

  2 =1 =1 =1

  = ∑

• 1
_{1 2} =1 ∑ ∑ �∑ � �

  − ̂

  2 =1 =1 =1

  = ∑

• 1 ∑

  − ̂

  − =1

  =1

  1

  2

  2

  ( ) =

  1 ∑ ∑

• =1 =1

  ̂ �− �

  maka diperolehlah yaitu:

  1

  ̂

  ∑ =1 ∑ =1 ∑ −

  =1

  = ²

  2.10 ̂

  1 ₂ ¹ ∑ − �∑ � =1 =1

2.3 Rataan Kuadrat Sisa (Mean Square Error)

  semakin baik modelnya. Ukuran ini memperhitungkan banyaknya parameter dalam model melalui pembagian dengan derajat kebebasannya. Untuk menentukan rataan kuadrat sisa dinyatakan dalam rumus sebagai berikut:

  −

  2

  = =

  2.11

  − −

  Keterangan: JKS = Jumlah Kuadrat Sisa

  2 JKT = Jumlah Kuadrat Total =

  − �) ∑(

  2 JKR = Jumlah Kuadrat Regresi =

  − �) ∑( �

  = Banyaknya sampel = Banyaknya parameter = Data sebenarnya = Data dugaan

  � = Rataan data sebenarnya

  �

2.4 Pencilan

  2.4.1 Pengertian Pencilan

  Menurut Sembiring (1995), secara umum pencilan ialah data yang tidak mengikuti pola umum model.

  2.4.2 Dampak Pencilan

  Menurut Soemartini (2007), keberadaan data pencilan akan mengganggu dalam proses analisis data dan harus dihindari dalam banyak hal. Salah satu penyebab tidak terpenuhi asumsi kenormalan galat adalah pencilan (Gujarati, 1991). Dalam kaitannya dengan analisis regresi, pencilan dapat menyebabkan hal-hal berikut:

2.4.3 Pendeteksian Pencilan

  Menurut Soemartini (2007) beberapa metode dan nilai yang dapat digunakan untuk mendeteksi ada atau tidak adanya pencilan ialah sebagai berikut:

1. Metode Grafik

  Metode grafik merupakan salah satu cara pendeteksian pencilan yang mudah dipahami karena menampilkan data secara grafis (gambar) tanpa melibatkan perhitungan yang rumit. Namun, kelemahan metode ini yaitu yang menentukan data tersebut sebagai pencilan atau tidak tergantung pada kebijakan (judgement) peneliti, karena metode ini hanya mengandalkan visualisasi gambar. Pendeteksian pencilan dengan metode grafik di antaranya ialah: a.

  Diagram Pencar (Scatter Plot) Metode ini dilakukan dengan cara memplot data dengan observasi ke-

  ( = 1, 2, …,

  ). Selain itu, setelah diperoleh model regresi maka dapat dilakukan dengan cara memplot antara residual ( ) dengan nilai prediksi Y ( �). Jika terdapat satu atau beberapa data yang terletak jauh dari pola kumpulan data keseluruhan maka hal ini mengindikasikan adanya pencilan.

  b.

  Boxplot Metode boxplot merupakan metode yang paling umum yaitu dengan menggunakan nilai kuartil dan jangkauan. Jangkauan (IQR, Interquartile

  

Range ) didefinisikan sebagai selisih kuartil 1 terhadap kuartil 3, atau IQR =

  . Pendeteksian pencilan dapat ditentukan jika nilai yang kurang dari −

  1,5*IQR terhadap kuartil 1 dan nilai yang lebih dari 1,5*IQR terhadap kuartil 3.

Gambar 2.1 Skema Identifikasi Data Pencilan dengan IQR atau Box Plot 2.

   Leverage Values, DFFITS, Cook’s Distance, dan DfBETA(s)

  Cara mendeteksi pencilan dapat juga dengan menentukan nilai Leverage,

  DFFITS , Cook’s Distance, dan DfBETA(s). Definisi dari masing-masing nilai

  tersebut ialah sebagai berikut: a.

  Leverage Values; menampilkan nilai leverage (pengaruh) terpusat.

  b.

  DFFITS atau Standardized DfFIT; menampilkan nilai perubahan dalam harga yang diprediksi bilamana case tertentu dikeluarkan dan sudah distandarkan.

  c.

  Cook’s Distance; menampilkan nilai jarak Cook.

  d.

  DfBETA(s); menampilkan nilai perubahan koefisien regresi sebagai hasil perubahan yang disebabkan oleh pengeluaran case tertentu. Digunakan untuk mendeteksi pencilan pada variabel bebas. Ketentuan dalam pendeteksian pencilan dengan nilai-nilai tersebut adalah: (

  − ) ⎧ . > ⎫ ⎪ ⎪ ⎪ ⎪

  . > 2 ∗ � �

  ( )

  ′

  ⎨ ⎬ . > ( . ; , − )

  ⎪ ⎪ ⎪ ⎪

  . ( ) > ⎩ ( ) ⎭

Gambar 2.2 Kriteria Pengambilan Keputusan Adanya Pencilan atau Tidak

  Keterangan:

  n = jumlah observasi (sampel). p = jumlah parameter.

2.5 Regresi Robust

  Menurut Drafer dan Smith (1981), penolakan begitu saja suatu pencilan bukanlah prosedur yang bijaksana, adakalanya pencilan memberikan informasi yang tidak bisa diberikan oleh titik data lainnya. Metode kuadrat terkecil (MKT) merupakan metode yang baik untuk menduga pada model regresi linier. Tetapi jika dalam penelitian diketahui terdapat pengamatan yang merupakan pencilan, maka penggunaan MKT akan menghasilkan kesimpulan yang tidak sempurna. Sebagai alternatif digunakan regresi robust.

  Secara umum robust memiliki arti kekar. Regresi robust merupakan alat yang penting untuk menganalisis data yang terkontaminasi oleh pencilan dan memberikan hasil yang lebih fleksibel. Regresi robust tetap menggunakan seluruh data, tetapi dengan memberikan bobot yang kecil untuk data pencilan (Soemartini, 2007: 12). Regresi robust digunakan untuk mendeteksi pencilan dan memberikan

2.5.1 Regresi Robust Penduga-S

  Penduga-S (Scale) pertama kali diperkenalkan oleh Rousseeuw dan Yohai (1984) di mana metode ini merupakan keluarga high breakdown point yaitu ukuran umum proporsi dari data pencilan yang dapat ditangani sebelum pengamatan tersebut mempengaruhi model prediksi. Disebut penduga-S karena mengestimasi berdasarkan skala. Skala yang digunakan adalah simpangan baku sisaan.

  Pendugaan koefisien regresi pada model regresi linier dengan MKT dilandasi pada peubah = pada persamaan: − �

  = 0

  2.12 ∑

  =1

  Bentuk yang lebih umum dari pendugaan parameter pada model regresi adalah pemecahan terhadap: ) = 0

  2.13 ∑

  (

  =1

  Di mana =

  2.14 Dengan S didefinisikan sebagai: = | ,

  2.15 | = 1, 2, . . . , Di mana adalah sisaan yang diperoleh dari MKT.

  Penyelesaian koefisien regresi pada persamaan 2.13 disebut dengan penduga-M dan dapat diselesaikan dengan MKT terboboti berikut:

• _-1

   X’WY β * = (X’WX)

  , , … , di mana W (matriks diagonal ],

  1

  2

  ) = diagonal utama [ merupakan pembobot pengamatan ke- (Myers, 1990).

  ) (

  Jika = maka persamaan 2.13 menjadi: = 0

  2.16 ∑

  =1 Tahapan iterasi dalam penaksiran koefisien regresi (Winahju, 2010) adalah:

  1. Dihitung penaksir β, dinotasikan b menggunakan least square, sehingga didapatkan y ˆ dan ε i,0 = y i − y ˆ , (i = 1, 2, ... n) yang diperlakukan sebagai _{i i , ,} nilai awal (y i adalah hasil eksperimen). ^* ψ ε ( ) _{i ,} 2. Dari nilai-nilai residual ini dihitung ˆ i,0 = . σ , dan pembobot awal w ^*

  ( ) ε _{i ,}

  Nilai ψ(ε ) dihitung sesuai fungsi Huber, dan ε = ε / σ . ˆ

  i i,0 i,0 3. Disusun matrik pembobot berupa matrik diagonal dengan elemen w , w , . . _{1,0 2,0} . , w n,0 , dinamai W .

  T -1 T

  4. Dihitung penaksir koefisien regresi: b Robust ke 1 = (X W X) _{n n}

  X W Y 5. Dengan menggunakan b Robust dihitung pula y − y ˆ atau ε .

  ke 1 | | | | _{i i , 1 i . 1} ∑ ∑ _{i i}

  = ^{1 = 1} _n

  6. Selanjutnya langkah 2 sampai dengan 5 diulang sampai didapatkan | ε | _{i m . n}

  ∑ _{i = 1}

  konvergen. Nilai ε yang konvergen adalah selisih antara dan

  | | _{i . m}

• 1

  ∑ _{i = 1}

  mendekati 0; = banyak iterasi.

  Persamaan 2.15 menunjukkan bahwa penduga-M hanya menggunakan median pada pembentukan nilai pembobot. Kelemahan median adalah kurangnya pertimbangan pada pola sebaran data dan bukan merupakan fungsi dari keseluruhan data. Rousseeuw dan Yohai (1984) memperkenalkan penduga-S yang merupakan pengembangan dari penduga-M. Penduga-S menggunakan simpangan baku sisaan untuk mengatasi kelemahan dari median. Menurut Salibian dan Yohai (2006) penduga-S ( ) dinyatakan dalam bentuk rumus sebagai berikut:

  ̂ = min

  ̂ ∑ � �

  =1

  atau

  −

  = min

  2.17 ∑

  ̂ � �

  =1

  �

  =

  2.18 ∑ � � = 0

  =1

  disebut fungsi pengaruh yang merupakan turunan dari , sedangkan didefinisikan sebagai: _{2 2}

  ( ) ∑ − �∑ � =1 =1

  = �

  2.19

  ( −1)

  Di mana adalah sisaan yang diperoleh melalui penduga-M. Persamaan 2.18 dapat diselesaikan melalui MKT terboboti secara iterasi yang disebut

Iteratively Reweighted Least Squares (Iterasi kuadrat terkecil terboboti kembali).

  Sisaan awal yang digunakan pada penduga-S adalah sisaan yang diperoleh dari penduga-M. Selanjutnya dikatakan bahwa Iterasi kuadrat terkecil terboboti kembali merupakan proses pendugaan melalui metode kuadrat terkecil terboboti dilanjutkan dengan menghitung sisaan dan pembobot ) yang baru dan

  ( dilakukan pendugaan secara berulang-ulang sampai konvergen. Kekonvergen tercapai jika perubahan jumlah mutlak sisaan, | | dari iterasi terakhir ke

  ∑

  =1 : iterasi berikutnya kurang dari 0,01 (Salibian dan Yohai, 2006).

  Fungsi pada persamaan 2.17 disebut fungsi kriteria disarankan memakai fungsi obyektif berikut (Tukey, 1977, dalam Chen, 2002): _{2 u i 2 3}

  c [1 ) ] −�1−( � _c

  | , |

  ≤ c

  6

  ) =

  2.20 (u i � ₂

  c

  , | | > c

  6

  dengan fungsi pengaruh:

  u _i

  2

  2

  (1 ) ) , | | − ( ≤ c

  ′ c

  ( ) = ) =

  ( � 0, | | > c

  ) (

  = Oleh karena , sehingga:

  ( ) u _i

  2

  2

  [1 ) ] , | | − ( ≤ c

  c

  =

  2.21 �

  0, | | > c

  Rousseeuw dan Leroy (1987) menyarankan nilai = 1,547 agar mendapatkan bobot yang besar. Secara ringkas, fungsi obyektif dan pembobot dari estimator

  Least Square , Huber, dan Tukey Bisquare dapat dilihat pada Tabel 2.1.

Tabel 2.1 Fungsi Objektif, Fungsi Influence dan Fungsi Pembobot untuk

  Least Square, Huber, dan Tukey Bisquare Least

  Metode Huber Tukey Bisquare

  Square _{* 2 * 3}  ² _{* *}

e untuk e r

^{2  } ₂  ( ) / ^* _{i i k i}

2 , | | ≤

^e
• ^* − −

  ≤

  Fungsi

   _{6  ( ) r }

  1 1 untuk e i r

  ρ =  _{LS i} ( e ) ( e ) ^*

  ρ ^* ( e ) ρ e =

_{H  B}

= _{* 2 *} ( )   

r e r untuk e r

²

  | | − /

_{i i}

2 , | | >   r untuk e > r
• ^* objektif

  / 6 i _*   ₂ ^*

   e untuk e ≤ r _{* i i  * e i} ²

• ^* Fungsi
• _* ^*

  e − 1 untuk e ≤ r _{* *}   ( ) ^{i r i} e = = ψ e = ψ

  ψ e e ( )  B ( ) 

• ^* _{LS i r untuk e > r}

  ( ) ^H _i ^*  untuk e > r

   influence ⁱ

   − r untuk e < −

• ^* r

   i  _{2 2}  

^*

^*

  ≤ ^{e i}

• ^* 1 untuk e r

  Fungsi ⁱ

• _* ^* _*

  1 − untuk e ≤ r   ( ) ^{r i} w = e w e = w e = ( ) B ( )  _LS ( )

  1 H  _{* * i i} ^* r / e untuk e > r

   untuk e > r

  Pembobot ⁱ

   

  Sumber: Fox (2002), Montgomery (1992) Langkah-langkah menentukan regresi robust penduga-S (Salibian dan Yohai, 2006) adalah sebagai berikut:

  , , … , a. dari model regresi dengan

  Didapatkan vektor penduga awal

  1

  2 .

  MKT didapatkan galat

  b. sesuai persamaan (2.15) untuk mendapatkan Dari sisaan awal dihitung berdasarkan persamaan (2.14).

  c. sesuai persamaan (2.21).

  Menghitung nilai d. Dengan menggunakan MKT terboboti didapatkan penduga kuadrat terkecil terboboti:

• _-1

   X’WY β * = (X’WX) e.

  Menjadikan sisaan langkah (d) sebagai sisaan awal pada langkah (b), sehingga didapatkan nilai dan pembobot yang baru.

  f.

  Iterasi diulang sampai didapatkan kekonvergenan sehingga diperoleh g. sesuai

  Dari sisaan yang diperoleh pada langkah (f), dihitung robust persamaan(2.19) untuk mendapatkan nilai sesuai persamaan (2.14).

  h. sesuai persamaan (2.21).

  Menghitung nilai i. Digunakan MKT terboboti untuk mendapatkan penduga kuadrat terkecil terboboti:

• _-1

   X’WY β * = (X’WX) j.

  Menjadikan sisaan yang diperoleh pada langkah (i) sebagai sisaan pada langkah (g), sehingga didapatkan nilai dan pembobot yang baru. k.

  Iterasi ulang sampai didapatkan kekonvergenan sehingga diperoleh , , … , yang merupakan penduga-S.

  1

2.5.2 Regresi Robust Penduga Least Trimmed Squares (LTS)

  Least Trimmed Squares

  (LTS) merupakan metode penduga regresi robust yang menggunakan konsep pengepasan metode kuadrat terkecil (ordinary least

  

squares ) untuk meminimumkan jumlah kuadrat sisaan (Akbar dan Maftukhah,

  2007). Menurut Rousseeuw dan Leroy (1987), penduga LTS ( ̂) dinyatakan dalam bentuk rumus sebagai berikut:

  2 ℎ

  = min )

  2.22 ̂

  ∑ (

  =1 :

  Keterangan:

  2

  2

  2

  ( ) ) ) = sisaan kuadrat yang diurutkan

  1: 2:

  ≤ ( ≤ … ≤ (

  :

• 1 + +1
• 2

  = ℎ =

  2

  2 n = banyaknya sampel p

  = banyaknya parameter Jumlah h menunjukkan sejumlah subset data dengan kuadrat fungsi obyektif terkecil. Nilai h pada persamaan akan membangun breakdown point yang besar sebanding dengan 50%. Kuadrat sisa pada persamaan (2.22) berasal dari