Estimasi Parameter Regresi Linear Menggunakan Regresi Kuantil

  Eigen Mathematics Journal Homepage jurnal: http://eigen.unram.ac.id

  Estimasi Parameter Regresi Linear Menggunakan Regresi Kuantil a b

  Baiq Devi Rachmawati* , Qurratul Aini a

  Program Studi Matematika, FMIPA, Universitas Mataram, Jl. Majapahit No. 62, Mataram, 83125, Indonesia. Email: devirch96 @gmail.com b

  Program Studi Matematika, FMIPA, Universitas Mataram, Jl. Majapahit No. 62, Mataram, 83125, Indonesia. Email: b qurratulaini.aini @gmail.com

  

A B S T R A C T

  Regression analysis is a statistical analysis method for estimating the relationship between dependent variables (Y) and one or more independent variables

  X . As the purpose of this study is to theoretically examine the quantile regression method in estimating linear regression parameters. In regression analysis usually the method used to estimate parameters is the least square method with assumptions that must be met that normal assumption, homoskedasticity, no autocorrelation and non multicollinearity. Basically the least square method is sensitive to the assumptions of deviations in the data, so that the estimations results will be lees good if the assumptions are not fulfilled. Therefore, to overcome the limitations of the least square method developed a quantile regression method for estimating linear regression parameters. Based on the result of research that has been done shows that the estimation of linear regression parameters using the quantile regression method is obtained by minimazing the absolute number of errors through the simplex algorithm.

  Keywords: Least square method, Quantile regression method, Simplex algorithm.

  Pada dasarnya metode kuadrat terkecil peka terhadap

1. Pendahuluan

  adanya penyimpangan asumsi pada data, sehingga hasil estimasinya akan kurang baik bila asumsi-asumsi tersebut Analisis regresi merupakan suatu metode statistika tidak terpenuhi.. Oleh karena itu, untuk mengatasi yang mempelajari tentang pola hubungan secara keterbatasan dari metode kuadrat terkecil berkembanglah sistematis antara variabel dependen (

  ) dengan satu atau metode regresi kuantil untuk estimasi parameter regresi lebih variabel independen (

  ). Dalam analisis regresi linear. biasanya metode yang digunakan untuk melakukan

  Menurut Uthami.dkk (2013), regresi kuantil pertama estimasi parameter adalah Metode Kuadrat Terkecil. kali diperkenalkan oleh Roger Koenker dan Gilbert Basset

  Estimasi parameter metode kuadrat terkecil pada 1978, regresi ini bertujuan untuk memperluas ide-ide prinsipnya yaitu meminimumkan jumlah kuadrat error dalam estimasi model fungsi kuantil bersyarat, dimana nilai observasi terhadap rata-ratanya dengan cara distribusi kuantil bersyarat dari peubah respon dinyatakan menurunkan jumlah kuadrat error dengan masing-masing sebagai fungsi dari kovariat yang diamati. Analisis ini parameter regresi kemudian disamakan dengan nol. sangat berguna untuk sebaran bersyarat yang tidak

  Gujarati (2004) menyatakan bahwa terdapat beberapa simetris, padat di ekor sebarannya, atau sebarannya asumsi model yang harus dipenuhi pada metode kuadrat terpotong. terkecil agar estimator yang dihasilkan memiliki sifat BLUE (Best Linear Unbiased Estimator) adalah asumsi kenormalan, asumsi homoskedastisitas, asumsi tidak terjadi multikolinearitas dan tidak ada autokorelasi.

• Corresponding author. Alamat e-mail: devirch96 @gmail.com

n

  2

  = ε i

  i=1

  2. Analisis Regresi

  = ( ( − ) − )

  = Analisis Regresi (regression analysis) merupakan

  − − suatu teknik untuk membangun persamaan garis lurus

  = − + − yang selanjutnya digunakan untuk membuat suatu

  = − − ( )

• perkiraan (Algifari, 2000). Terdapat dua jenis persamaan

  = − − (3) + untuk menyatakan hubungan antara variabel independen

  Selanjutnya, untuk menentukan estimator regresi linear dengan variabel dependen pada analisis regresi yaitu dapat dihitung dari turunan pertama persamaan (3) secara analisis regresi linear sederhana dan analisis regresi linear dan disamakan hasilnya dengan nol. parsial terhadap berganda.

  Hasil yang diperoleh sebagai berikut: Walpole et al. (2011) mengatakan bahwa untuk menyatakan hubungan dan menggunakan regresi −

  ( = ) (4) linear berganda dengan variabel independen dapat dinyatakan dalam persamaan berikut:

  −1

  1

  1

  1

  1

  …

  11

  … 1

• = + (1)

  1

  1 2 ⋯ +

  2

  1

  1

  2

  … …

  11

  12

  12

  1

  = 1,2, … , =

  ⋮ ⋮ ⋮ ⋮ ⋮ Keterangan:

  ⋮ ⋮ ⋮ ⋮

  1

  1

  2

  1

  … : variabel dependen ke-i

  …

  1

  1

  1

  : variabel independen dengan … 1 = 1,2, … ,

  1

  …

  2

  , , : parameter yang tidak diketahui nilainya

  11

  12

  1

  … , ⋮ dan akan diestimasi ⋮ ⋮ ⋮

  ⋮ : variabel galat/kesalahan regresi

  1

  2

  …

  −1

  : banyaknya data observasi

  1

  …

  2

  1

  1 1 ⋯

  1

  2

  1

  = Dengan menggunakan lambang matriks, persamaan (1) di

  ⋮ ⋮ ⋮ ⋮

  ⋮ ⋮

  2

  atas dapat ditulis sebagai

  1

  … (2.9)

  = + (2) dimana

  1 T

  1

  1

  11 12 ⋯

  1

  1

  = adj (

  T

  ) ( ) (5)

  det ( )

  2

  1

  21 22 ⋯ 2 ⋮

  = , = , ⋮

  ⋮ ⋮ ⋮ ⋮

  1

  1 2 ⋯

  1

  4. Regresi Kuantil

  2

  1

  , = =

  ⋮ ⋮

  Menurut Uthami.dkk (2013), regresi kuantil pertama kali diperkenalkan oleh Roger Koenker dan Gilbert Basset tahun 1978. Kuantil dapat dioperasikan dengan penyusunan atau pengurutan sampel pengamatan sehingga

  3. Metode Kuadrat Terkecil

  lebih mudah menentukan letaknya dan dapat mendefinisikan kuantil melalui alternatif yang sederhana Metode kuadrat terkecil adalah metode estimasi sebagai masalah optimisasi. parameter yang sering digunakan dalam analisis regresi

  Menurut Hapsery (2017), persamaan umum regresi dengan tujuan meminimumkan jumlah kuadrat error (sum kuantil linear khusus untuk kuantil bersyarat

  square error) (Andani dan Widodo, 2016). Menurut

  , , ) dari variabel dependen yaitu: ( |

  1 2 … ,

  Youlanda (2015), untuk melakukan analisis regresi yang benar berdasarkan metode kuadrat terkecil maka harus = + +

  1 + 1 (6)

  ⋯ + memenuhi asumsi-asumsi yang telah ditentukan. Asumsi untuk

  = 1,2, … , yang diperlukan dalam metode kuadrat terkecil, yaitu asumsi kenormalan, asumsi homoskedastisitas, asumsi dimana , , merupakan parameter yang tidak

  1 … , tidak ada autokorelasi dan asumsi non-multikolinieritas.

  diketahui pada kuantil ke- merupakan error dari dan Menurut Gujarati (2004), estimasi , , ,...,

  1

  2

  model regresi pada sampel sebanyak dan pada kuantil dengan menggunakan metode kuadrat terkecil dapat ke-

  . Apabila model regresi kuantil disajikan dalam diperoleh dengan meminimumkan jumlah kuadrat error. bentuk matriks, dapat ditulis sebagai berikut:

  Dalam notasi matriks, meminimumkan jumlah kuadrat

  2 dapat dicapai dengan meminimumkan . error

  =1

  Misalkan

  1

  1

  11

21 ⋯ = maka diperoleh:

  1

  2

  2

  1

  12 22 ⋯

  1

  =

• ⋮

  ⋮ ⋮ ⋮ ⋮ ⋮ − = 0

  1

  1 2 ⋯

  1 ∞

  = 0 −

  −∞

  2

  (7) ⋮

  ∞

• −∞

  − = 0 −

  lim

  →−∞ + lim

  Selanjutnya persamaan (7), dapat ditulis dalam bentuk − −

  →∞

  model linear berikut: = 0

  = + (8) Keterangan: lim

  →−∞ + lim

  ( − ) ( −

  →∞

   : vektor kolom berukuran 1 dari variabel dependen ) = 0

  ( )

   : matriks berukuran dengan observasi pada 0 + lim + 0 + lim − =

  →−∞ →∞

  variabel dimana = 1,2, … ,

  ( ) − 1 − ( ) = 0 : vektor kolom berukuran + 1 1 parameter

  = 1/2 dimana = 1,2, … ,

   : vektor kolom berukuran 1 error

  5.2 Menunjukkan Fungsi Kuantil Bersyarat ke- Solusi dari Masalah Minimasi

  Jika fungsi bersyarat dari kuantil ke- dengan variabel independen

  Sama halnya dengan menunjukkan median pada tertentu, maka fungsi bersyarat tersebut didefinisikan sebagai berikut: bagian (5.1), dalam menunjukkan fungsi kuantil bersyarat

  , , ke- dilakukan dengan meminimumkan fungsi

  1 2 = dari

  … , terhadap = dengan menambahkan bobot dan 1 − yang

   (9) tidak simetris: Akibatnya solusi optimasi pada regresi kuantil adalah sebagai berikut:

  min

  , ( − ) ( ) − = 0

  =1 = 1,2, … , (0,1) ∈ ∞

  atau = 0

  ( ) −

  −∞ min

  ) (10) = (

  =1 ∈

  [ (1 − ) −

• −∞ ∞

  − ] = 0

5. Parameter Regresi Linear Estimasi menggunakan Regresi Kuantil

• lim

  →−∞

  (1 − ) − lim Pada bagian ini, akan dijabarkan secara teori

  − = 0

  →∞

  mengenai estimasi parameter regresi linear menggunakan

  =

  (1 + lim − ) − | − regresi kuantil. Dalam proses analisis tersebut, terdapat

  →−∞

  beberapa hal yang dilakukan yaitu menunjukkan median

• sebagai solusi dari masalah minimasi, menunjukkan fungsi
• lim ( − | = − kuantil bersyarat ke- solusi dari masalah minimasi,

  →∞

  menunjukkan loss function asimetris dan menentukan ) = 0 estimator menggunakan algoritma simpleks. Berikut

  (1 ini adalah hasil analisis yang diperoleh.

  − ) 0 + lim + 0 +

  →−∞

  lim − = 0

  →∞

5.1 Menunjukkan Median Solusi dari Masalah

  (1 − ) ( ) − 1 − ( ) = 0

  Minimasi

  ( ) = Dalam menunjukkan median sebagai solusi dari

  masalah minimasi dilakukan dengan meminimumkan fungsi berikut ini terhadap dengan mengasumsikan

  5.3 Menunjukkan Loss Function Asimetris

  Dalam melakukan estimasi menggunakan metode bahwa bobot yang diberikan adalah sama sehingga loss regresi kuantil, estimator didapatkan dengan function berbentuk simetris. meminimumkan nilai loss function atau perkalian antara arg bobot dan error pada regresi kuantil berbentuk asimetris Fungsi di atas merupakan fungsi yang tidak linear, namun untuk dapat diubah menjadi linear dengan bantuan program

  0,1 dengan penjelasan sebagai berikut: linear. Dimana loss function didefinisikan sebagai:

  ; ≥ 0 Fungsi tujuan : meminimumkan

  =1

  ) = (

  ; < 0 1 − Fungsi kendala : dengan

• 1 − = 1, … ,

  , ≥

• ( <0)

  =

• ) , 1 −

  1 ≥0 ≥ −( − = 1, … ,

  Setiap merupakan variabel tambahan yang =

  (

  − <0) menunjukkan error ke-i dengan kendala-kendala yang 1 ;

  ≥ 0 =

  ≥0

  memenuhi: 0 ; < 0

• 1 −

  , ≥ max⁡{

• |

  Sehingga dapat dibuktikan: }= |

  − −

  1 1 − 1.

  Untuk ≥ 0 2.

• ( ≥0 <0)

   Masalah -variabel

  1 − =

  Dalam kasus p-variabel, model linear untuk regresi

  ≥0 <0)

• = 1 − (

  kuantil sebagai berikut: =

  (

  1 + 1 − <0) = ( )+ (14)

• =

  ( <0) ( <0)

  − = ) )

  Notasi sederhana

• (1 − ( ≥0) ( ≥0)

  − (1 − akan digunakan untuk kondisi median = [

  (

• 1 − 1 − (1 − 1)] = 0.5), dimana akan diperoleh sebagai solusi dari = masalah minimasi: min | (15)

  =1 − | 2.

  Untuk < 0 ) yang akan

• Persamaan (15) merupakan error ke-i (

  = 1 −

  ( <0) ≥0

  diminimumkan terhadap selalu tak negatif. =

• ( <0) ≥0

  . Dimana 1 − (− )

  Karena persamaan tersebut tidak dapat diselesaikan secara = 0 + 1 − ( <0) (− ) (-1) analitik maka dapat diselesaikan melalui program linear

  = − 1 ( <0) ( ) dengan langkah sebagai berikut:

  = ) − 1 (1 − ( )

  ≥0

  = − 1 (1 − 0) ( )

  Diberikan , bagian tak negatif dari

• yaitu = (

  − 1) =

• jika ≥ 0 , ∀ = 1, … , =

  − jika ≤ 0 , ∀ = 1, … , + Sehingga menjadi:

  Sehingga, ambil bagian positif dari error yaitu | − |

  = 1 −

• ( <0) dan bagian positif dari ≥0 −| − |.

  = 1 − ( <0) , ∀ Akibatnya,

  =

  5.4

  −

• =

   Menentukan Estimator ( ) menggunakan

  −

  Algoritma Simpleks

• Masalah tersebut dapat ditulis sebagai masalah linear yang

  Berikut adalah langkah yang dilakukan dalam diformulasikan sebagai berikut: menentukan estimator persamaan reresi kuantil menggunakan algoritma simpleks pada kasus dua variabel

  min + { , ,

  dan (16)

  −

• variabel:

  ∈ = + ∈ R

• 1.

  Persamaan (16) tersebut belum jelas apa yang menjadi

   Masalah dua variabel

  Dalam kasus dua variabel model yang dimiliki fungsi tujuan dan kendala-kendalanya, sehingga sebagai berikut: dibentuklah seperti berikut ini:

  = (12) + Diberikan +

  1

  = – − Untuk mendapatkan estimator terbaik dari dan dan diperoleh dengan meminimumkan jumlah absolute

  1

• error ( | |).

  =1

  −

• dimana,

  ψ = − +

  = −

• 1

  − + sehingga,

  1

  1

  Sehingga

  1

  2 T

  =

  1

  Kemampuan Regresi Kuantil Median dan Transformasi Box-Cox dalam Mengatasi Heteroskedastisitas , Konferensi Nasional

  Algifari, 2000, Analisis Regresi: Teori, Kasus dan Solusi, Edisi kedua, BPFE Yogyakarta, Yogyakarta. Andani, F.P.P. dan Widodo, E., 2016, Perbandingan

  Hasil dari masalah minimasi tersebut diperoleh menggunakan algoritma simpleks.

  =1 ∈ min

  dan menambah

  )

  (0,1) seperti persamaan berikut ini: = (

  dengan meminimumkan nilai Loss function atau perkalian antara bobot dan error pada regresi kuantil berbentuk asimetris untuk

  =1 )

  Berdasarkan hasil analisis yang telah dilakukan, maka dapat disimpulkan bahwa estimasi parameter regresi linear menggunakan metode regresi kuantil diperoleh dengan mendefinisikan median sebagai solusi untuk masalah meminimumkan jumlah absolute error (

  7 . Kesimpulan

  pada rumus di median.

  2

DAFTAR PUSTAKA

  2

  Dimana (1 − ) memiliki peran yang sama seperti

  dengan kendala

  =

  [ ] [ ] [ ]

  [ ]

  Seperti reformulasi dari permasalahan program linear standar, maka formulasinya dapat ditulis sebagai berikut: Bentuk primal: Fungsi tujuan: min

  T

  ψ dengan kendala ψ = , ≥ Bentuk dual: Fungsi tujuan: max

  T

  T

  1

  ≤ Secara sederhana masalah di atas dapat dirumuskan sebagai berikut: max {

  T

  |

  T

  = , [−1, +1] } (17)

  Faktanya, untuk

  T

  = yang ditransformasikan dengan cara dikalikan dengan

  1

2 T .

• 1

  2

  Penelitian Matematika dan Pembelajarannya (KNPMP I), Universitas Muhammadiyah Surakarta, 12 Maret 2016.

• 1

  2

  2

  1

  T

  Hasil dari transformasi dapat ditulis seperti pada persamaan berikut ini:

  2 T

  =

  2 T

  2 T

  Gujarati, D.N., 2004, Basic Econometric, Mc Graw Hill, New York. Hapsery, A., 2017, Regresi Kuantil Berbasis Model

  1

  Rekursif dan Estimasi Sparsity untuk Analisis Publikasi Doses ITS di Scopus

  , Tesis, Jurusan Statistika Fakultas MIPA Institut Teknologi Sepuluh November Surabaya.

  Uthami, I.A.P., Sukarsa, I.K.G., dan Kencana, I.P.E., 2013, Regresi Kuantil Median untuk Mengatasi

  Heteroskedastisitas pada Analisis Regresi, E-Jurnal Matematika Vol.2, No.1, Januari 2013, 6-13.

  Walpole, R.E., Raymond, H.M., Shaton, L.M., dan Keying, Y., 2011, Probability and Statistics for

  Engineers and Scientist, Ninth Edition, Lifland et al. Bookmakers, New York.

  Youlanda, S.R., 2015, Perbandingan Metode Regresi

  Kuantil Median dengan Metode Weighted Least Square (WLS) untuk Menyelesaikan Heteroskedastisitas pada Analisis regresi,

  Skripsi, Jurusan Matematika Fakultas MIPA Universitas Jember.

  =

  2 T T

• 1

  2

2 T

  (19) Nilai

  = dan

  = , maka persamaan tersebut dapat ditulis

  T

  = . Akibatnya diperoleh masalah dual sebagai berikut: max {

  T

  |

  T

  = , [0, 1] }

  1

  (18) Jika

  2

  pada persamaan (18) merupakan kunci utama generalisasi untuk kondisi median yang lain. Akibatnya masalah minimasi untuk median bersyarat dapat digunakan untuk kuantil bersyarat ke- sehingga diperoleh hasil sebagai berikut: min (

  =1 − ( ))

  Dengan cara yang sama diperoleh formulasi dari persamaan dual max {

  T

  |

  T

  = (1 − )

  T

  , [0,1] } (20)

  1

  1