Diajukan untuk Memenuhi Salah Satu Syarat Memperoleh Gelar Sarjana Sains Program Studi Matematika

  

REGRESI ROBUST DENGAN M-ESTIMASI

MAKALAH

Diajukan untuk Memenuhi Salah Satu Syarat

Memperoleh Gelar Sarjana Sains

  

Program Studi Matematika

Disusun oleh :

Agnes Tri Susilawati

  

NIM : 053114001

PROGRAM STUDI MATEMATIKA JURUSAN MATEMATIKA

FAKULTAS SAINS DAN TEKNOLOGI

UNIVERSITAS SANATA DHARMA

YOGYAKARTA

  

2010

  ROBUST REGRESSION WITH M-ESTIMASI MAKALAH Presented As a Partial Fulfillment of The Requirements To Obtain The Sarjana Sains Degree In Mathematics By : Agnes Tri Susilawati Student Number : 053114001 MATHEMATICS STUDY PROGRAM DEPARTEMENT OF MATHEMATICS FACULTY OF SCIENCE AND TECHNOLOGY SANATA DHARMA UNIVERSITY YOGYAKARTA

  Berdirilah dengan teguh, jangan goyah, dan giatlah selalu dalam pekerjaan Tuhan! Sebab dalam persekutuan dengan Tuhan jerih payahmu tidak sia-sia

1 Korintus 15 : 58 Kupersembahkan makalah ini kepada: Tuhan Yesus Kristus yang senantiasa menyertaiku, sumber harapan dan kekuatanku Kedua orangtuaku atas cinta dan doa yang tiada henti Kedua kakakku Mas Robert dan Mbak Chris Serta almamaterku tercinta

  

ABSTRAK

  Outlier adalah pengamatan dengan nilai residual yang besar. Dengan adanya outlier, parameter-parameter dalam model regresi akan menjadi bias, oleh karena itu dibutuhkan regresi yang dapat menghasilkan model regresi yang tidak terpengaruh oleh outlier yaitu regresi robust. Regresi robust adalah alat penting untuk menganalisa data yang dipengaruhi oleh outlier sehingga dihasilkan model yang tidak terpengaruh oleh outlier.

  Pada makalah ini akan dibahas pendugaan parameter dalam regresi robust dengan menggunakan metode M-Estimasi dengan fungsi bobot Huber. Pada regresi

  − ¹

  kuadrat terkecil penduga parameter ′ ′ sedangkan untuk regresi = ( )

  β adalah β Χ Χ Χ Υ − ₁

  robust penduga parameter ′ W ′ W . Ketika W

  β β β

  1 model β adalah β = Χ Χ Χ Υ = ( )

  regresi robust sama dengan model regresi kuadrat terkecil. Kesukaran dalam mendapatkan penduga parameter W tergantung pada

  β regresi robust bahwa β dan β

  W , sehingga untuk mendapatkan nilai

β tergantung pada β digunakan suatu iterasi

β yang disebut dengan iteratively reweighted least squares (IRLS).

  Kata Kunci: outlier, robust, regresi, M-Estimasi, IRLS

  

ABSTRACT

  Outlier is an observation data with big residual value. With attending outlier, some parameters in the regression model can be bias, so that it needs a best regression model without outlier and it is mentioned as a robust regression. The robust regression is an important tool to analyze outlier and then to obtain a regression model without outlier.

  In this research we describe some predicted parameters for the robust regression using M-Estimation method through a weight formula of Huber. The least squares

  − ¹

  ′ ′ , whereas the robust regression regression estimators of = ( )

  β are β Χ Χ Χ Υ − ¹

  estimators of ′ W ′ W . When W

  β β β

  1 the robust regression model β are β = Χ Χ Χ Υ = ( )

  same as with least square regression model. The difficulty in obtaining of predicted parameter W , while W depends on

  β is reciprocal depending on β and β depends β β

  on W , so that to obtain a value of

  β we need an iteration calculation using IRLS β (iteratively reweighted least squares).

  Keywords: outlier, robust, regression, M-Estimation, IRLS

KATA PENGANTAR

  Puji dan syukur penulis panjatkan kepada Tuhan Yesus Kristus, atas berkat dan kasih karunianya yang telah diberikan sehingga penulis dapat menyelesaikan makalah yang berjudul “ Regresi Robust dengan M-estimasi”.

  Dalam proses penulisan makalah ini banyak hambatan yang dialami oleh penulis. Namun, berkat bantuan dan dukungan dari banyak pihak, akhirnya makalah ini dapat terselesaikan. Oleh karena itu penulis ingin mengucapkan terimakasih kepada:

  1. Ibu Enny Murwaningtyas, S.Si, M.Si, selaku dosen pembimbing tugas akhir yang telah meluangkan waktu, pikiran, serta sabar dalam membimbing penulis selama penyusunan tugas akhir ini.

  2. Yosef Agung Cahyanta, S.T., M.T. selaku Dekan Fakultas Sains dan Teknologi

  3. Ibu Lusia Krismiyati Budiasih, S.Si, M. Si, selaku ketua program studi Matematika FST USD Yogyakarta yang telah banyak membantu dan memberikan saran.

  4. Romo Prof. Dr. Frans Susilo, SJ, selaku dosen pembimbing akademik yang selalu setia memberikan nasehat dan saran untuk penuslis dan selaku kepala perpustakaan yang telah menyediakan fasilitas dan kemudahan selama penulis kuliah

  5. Bapak dan Ibu Dosen Prodi Matematika FST USD Yogyakarta yang telah memberikan bekal ilmu yang sangat berguna bagi penulis.

  6. Bapak Zaerilus Tukija dan Ibu Erma Linda Santyas Rahayu yang telah memberikan pelayanan administrasi dan urusan-urusan akademik kepada penulis selama masih kuliah.

  7. Perpustakaan USD dan Staf yang telah memberikan fasilitas dan kemudahan kepada penulis.

  8. Bapak dan Ibu tercinta: Bapak F. Ngatijan dan Ibu FM. Suryati yang selalu mendoakan penulis, memberikan dukungan yang tak pernah berhenti dalam segala hal.

  9. Mas Robert Lujantoro, Mbak Chrispina Lidisia Dwinursari terima kasih karna kalian telah membuat persaudaraan ini indah dan penuh makna, semoga kita dapat selalu menjaganya walau jarak memisahkan kita.

  10. Simbah Handoyo Hadisuasono Kakung dan Simbah Handoyo Hadisuasono Putri terima kasih atas doanya sehingga penulis dapat berhasil sampai sekarang ini.

  11. Yohan Priyambodo yang telah memberikan seluruh perhatian, pengertian, waktu, kesabaran, nasehat, dan keceriaan buat penulis. Terima kasih pula atas support, doa yang tiada henti untuk penulis, saran, pengetahuan, kebersamaan dan hari-hari yang begitu indah yag telah diberikan kepada penulis.

  12. Teman-teman Kost Pink “ Maria Yuli, Maria Pudyanti, Yulia Venty, Fransiska Septiana terima kasih buat kebersamaan kita.

  13. Prisca Devi Yudistasari, Wuri Johana Fransisca, Yosepin Artiani, terima kasih atas persahabatan, kenangan, dukungan, semangat, dan perjalanan hidup yang sangat berarti yang kalian berikan untuk penulis.

  14. Teman-teman Matematika angkatan 2005 yang sudah memberikan segala keceriaan dalam melewati kebersamaan selama di Matematika USD.

  Penulis juga tidak lupa mengucapkan terima kasih kepada semua pihak yang membantu penulis dalam penulisan makalah ini.

  Yogyakarta, Penulis

  

DAFTAR ISI

Halaman HALAMAN JUDUL ............................................................................. i HALAMAN JUDUL (INGGRIS) ........................................................ ii HALAMAN PERSETUJUAN PEMBIMBING.................................. iii HALAMAN PENGESAHAN................................................................ iv PERNYATAAN KEASLIAN KARYA................................................ v HALAMAN PERSEMBAHAN............................................................. vi

ABSTRAK.............................................................................................. vii

ABSTRACT............................................................................................ viii

PERNYATAAN PUBLIKASI KARYA ILMIAH.............................. ix KATA PENGANTAR............................................................................ x DAFTAR ISI .......................................................................................... xiii DAFTAR TABEL................................................................................... xv DAFTAR GAMBAR.............................................................................. xvi DAFTAR LAMPIRAN........................................................................... xvii BAB I PENDAHULUAN ............................................................ ......

  1 A.

  1 Latar Belakang Masalah ...............................................

  B.

  2 Rumusan Masalah .........................................................

  C.

  3 Batasan Masalah ............................................................

  D.

  3 Tujuan Penulisan ...........................................................

  E.

   3 Metode Penulisan ...........................................................

  G.

  31 C.

M-Estimator……………………………………………..

  59 LAMPIRAN……………………………………………………………

  58 DAFTAR PUSTAKA …………………………………………………

  56 B.

Saran……………………………………………………..

  56 A.

Kesimpulan………………………………………............

  53 BAB V PENUTUP ………………………………………………..........

  49 B. Kerugian Penjualan Motor Bekas Suatu Dealer Motor……………………………………………………..

  49 A. Ketenagakerjaan Baja Suatu Negara di Eropa pada tahun 1974 dan 1992………………………….. …..

   36 BAB IV APLIKASI REGRESI ROBUST …………………………..

  32 D. Prosedur M-Estimasi……………………………………

  20 B.

Regresi Least Absolute Deviation (Regresi L)………..

  

Sistematika Penulisan ....................................................

  20 A. Outlier……………………………………………….. …..

  18 BAB III OUTLIER DAN REGRESI ROBUST……………….. …..

  16 F. Penaksiran Metode Maksimum Likelihood k-Variabel..

  14 E. Penaksiran Metode Kuadrat Terkecil k-Variabel... ......

  10 D. Metode Regresi Linear k-Variabel ........................... ......

  6 C. Metode Kuadrat Terkecil........................................... ......

  5 B. Model Regresi Linear Sederhana.....................................

  5 A.

Metode Maksimum Likelihood.........................................

  4 BAB II REGRESI LINEAR ................................................................

  61

  DAFTAR TABEL Halaman

Tabel 3.1 Banyak barang terjual dan harga barang ................…………

  24 Tabel 3.2 Kuartil dan Jangkauan.........................................……………

  26 Tabel 3.3 Kuartil dan Jangkauan.........................................……………

  28 Tabel 3.4 Banyak barang terjual dan harga barang ................…………

  41 Tabel 3.5 Model regresi kuadrat terkecil dan model regresi robust........

  42 Tabel 3.6 Bentuk kuadrat terkecil dan bentuk regresi robust ………....

  43 Tabel 3.7 Banyak barang terjual dan harga barang ................…………

  45 Tabel 3.8 Kuartil dan Jangkauan.........................................……………

  45 Tabel 3.9 Model regresi kuadrat terkecil dan model regresi robust........

  47 Tabel 3.10 Bentuk kuadrat terkecil dan bentuk regresi robust ………....

  43 Tabel 4.1 Ketenagakerjaan suatu negara di Eropa tahun 1974 dan 1992

  49 Tabel 4.2 Kerugian setiap penjualan motor bekas..................................

  53

  DAFTAR GAMBAR Halaman

  27 Gambar 3.7a ………………………………………………………………

  51 Gambar 4.2 ………………………………………………………………

  46 Gambar 4.1 ………………………………………………………………

  39 Gambar 3.10 ………………………………………………………………

  39 Gambar 3.9 ………………………………………………………………

  39 Gambar 3.8b ………………………………………………………………

  29 Gambar 3.8a ………………………………………………………………

  28 Gambar 3.7b ………………………………………………………………

  27 Gambar 3.6b ………………………………………………………………

Gambar 1.1 ………………………………………………………………

  26 Gambar 3.6a ………………………………………………………………

  25 Gambar 3.5 ………………………………………………………………

  24 Gambar 3.4 ………………………………………………………………

  23 Gambar 3.3 ………………………………………………………………

  22 Gambar 3.2b ………………………………………………………………

  22 Gambar 3.2a ………………………………………………………………

  21 Gambar 3.1b ………………………………………………………………

  2 Gambar 3.1a ………………………………………………………………

  52

  DAFTAR LAMPIRAN Halaman

  Lampiran A ………………………………………………………………

  62 Lampiran B ………………………………………………………………

  62 Lampiran C ………………………………………………………………

  64 Lampiran D ………………………………………………………………

  64 Lampiran E ………………………………………………………………

  66 Lampiran F ………………………………………………………………

  67 Lampiran G ………………………………………………………………

  69 Lampiran H ………………………………………………………………

  69 Lampiran I ………………………………………………………………

  71 Lampiran J ………………………………………………………………

  71 Lampiran K ………………………………………………………………

  74

BAB I PENDAHULUAN A. Latar Belakang Masalah Dalam suatu pengamatan, misalkan Y simbol yang akan digunakan untuk

  variabel tak bebas dan X simbol yang akan digunakan untuk variabel bebas, maka rumusan model regresi antara variabel Y dan X adalah:

  

β β L β ε

Υ = Χ + + + + Χ

_{i i p ip i}

_{1 1}

  dengan:

  Υ = variabel tak bebas, i = _i 1 , 2 , K , n K Χ = variabel bebas, i = _ij

  1 , 2 , K , n , j =

  1 , 2 , , p β koefisien regresi terhadap = Χ Υ ε nilai error (galat) _i =

  Dalam regresi linear sederhana pendugaan parameter dapat menggunakan metode kuadrat terkecil, namun ketika distribusi dari ε tidak normal atau adanya _i beberapa outlier yang berpengaruh pada model maka metode kuadrat terkecil tidak dapat digunakan karena penduga parameter akan menjadi bias. Oleh karena itu harus digunakan model regresi yang lain. Regresi robust adalah alat penting untuk menganalisa data yang dipengaruhi outlier sehingga dihasilkan model yang tidak terpengaruh oleh outlier.

  Menurut Staudte dan Snether (1990) outlier adalah suatu observasi yang jauh dari sebagian besar data. Pada regresi linear, outlier adalah pengamatan dengan nilai residual yang besar. Dalam Gambar 1.1 diperlihatkan sekumpulan data dengan titik yang keempat merupakan outlier.

Gambar 1.1. Regresi linear dengan satu outlier

  Dalam makalah ini metode yang akan dibahas untuk menduga parameter dari model regresi robust adalah M-Estimasi dengan fungsi bobot Huber. Fungsi Huber merupakan fungsi parabola di sekitar titik nol dan meningkat secara linear pada , dengan a adalah tuning konstan.

  u > a B.

   Perumusan Masalah

  Berdasarkan uraian yang dikemukakan dalam latar belakang diatas, pokok permasalahan dalam makalah ini dapat dirumuskan sebagai berikut:

  1. Bagaimana mendeteksi data yang memuat outlier?

  2. Apa penduga parameter dari regresi robust dengan M-Estimasi?

  3. Bagaimanakah penyelesaian penduga parameter dari regresi robust dengan M- Estimasi menggunakan fungsi bobot Huber?

  C. Batasan Masalah

  Pembahasan masalah dalam makalah ini dibatasi pada pembahasan mengenai regresi robust yang digunakan untuk mendapatkan model regresi yang tidak terpenga- ruh outlier. Untuk menyelesaikan masalah ini akan diduga parameter regresi robust dengan M-Estimasi menggunakan fungsi bobot Huber dengan tuning konstan

  a =

  1 . 345 . Pemilihan tuning konstan tidak akan dibahas dalam makalah ini. Dalam makalah ini juga tidak akan dibahas tentang distribusi dari residual, dan sifat BLUE penduga parameter.

  D. Tujuan Penulisan

  Tujuan penulisan makalah ini adalah: 1. Memahami outlier dan pendeteksian adanya outlier.

  2. Menentukan regresi robust dengan M-Estimasi menggunakan funsi bobot Huber’s E.

   Metode Penulisan

  Metode penulisan makalah ini menggunakan metode studi pustaka, yaitu menggunakan buku-buku, jurnal, makalah yang telah dipublikasikan dan dari internet, sehingga tidak ditemukan hal-hal yang baru. Untuk penyelesaian masalah akan diguna- kan program MATLAB.

  F. Manfaat Penulisan

  1. Mendapatkan suatu penduga parameter yang dapat mengurangi pengaruh

G. Sistematika Penulisan

  Bab I pendahuluan berisi latar belakang masalah, perumusan masalah, batasan masalah, tujuan penulisan, metode penulisan, dan manfaat penulisan. Bab II berisi tentang model regresi linear sederhana dan regresi berganda, metode kuadrat terkecil, maximum likelihood. Bab III berisi tentang pengertian outlier dan cara pendeteksian adanya outlier, pengertian regresi robust, M-Estimasi, Huber’s M-Estimasi. Bab IV berisi kasus tentang model regresi robust yang akan diselesaikan dengan metode M-Estimasi menggunakan fungsi bobot Huber. Bab V berisi tentang kesimpulan dan saran.

BAB II REGRESI LINEAR A. Metode Maksimum Likelihood Dari suatu pengamatan, sejumlah pendekatan dapat diambil untuk memperoleh

  suatu penduga. Salah satu metode untuk memperoleh sebuah penduga adalah metode

  

L

maximum likelihood (ML) . Misalkan Χ , Χ , Χ nilai yang diobservasi dalam suatu

  

( )

_{1 2 n}

  sampel random yang besarnya n . Maka fungsi likelihood sampel tersebut adalah

  L = f Χ , Χ , L , Χ ; ( ) β ( β ) _{1 2 n}

  f ; f ; L f ; = ( Χ β ) ( Χ β ) ( Χ β ) _{n 1 2 n} f ;

  2.1 = ( Χ β ) ( ) _i

  ∏ _{i = 1}

  dengan β adalah suatu parameter yang tidak diketahui. L β adalah fungsi likelihood

  ( )

  untuk β , dengan , , L , tetap (fixed). Penduga Maximum Likelihood untuk Χ Χ Χ _{1 2 n} parameter β adalah nilai βˆ yang memaksimumkan fungsi likelihood L β .

  ( ) Contoh 2.1:

  Suatu eksperimen Binomial terdiri dari n percobaan yang menghasilkan observasi , , K , , K , dengan

  1 jika percobaan sukses dan jika

( Χ Χ Χ Χ ) Χ = Χ =

_{1 2 i n i i} pˆ

  percobaan gagal. Dengan menggunakan metode maximum likelihood carilah sebagai penduga dari parameter p.

  Jawab: _{X n − X} L p p

  1 p ( ) = ( − )

  n

  dengan

  X banyaknya sukses. Nilai pˆ dicari dengan menurunkan L p terhadap = Χ _i

  ( ) ∑ _{i = 1}

p kemudian menyamakannya dengan nol. Untuk mencari turunan L p lebih baik

  ( ) diambil lognya (ln = log dengan bilangan pokok e). ln L p = X ln p n − X ln 1 − p

• d ln L p

  ( ) ( ) ( ) ( )

  1

  1 ( ) ⎛ ⎞ ⎛ ⎞

  X n

  X = ( − ) − + ⎜⎜ ⎟⎟ ⎜⎜ ⎟⎟ dp p 1 p

  − ⎝ ⎠ ⎝ ⎠

  1

  1 ⎛ ⎞ ⎛ ⎞ X n

  X = − ) − ( + ⎜⎜ ⎟⎟ ⎜⎜ ⎟⎟ p 1 p

  − ⎝ ⎠ ⎝ ⎠ X n −

  X ( )

  = p 1 p

  −

  X 1 − p = n − X p ( ) ( )

  X Xp np Xp − = − np

  X =

  Nilai p yang membuat L p maksimum ialah

  ( )

  

X

p =

n

  X _i

∑

  = n

  

X

=

  1 dengan Χ = jika percobaan sukses dan Χ = jika percobaan gagal. _{i i}

  Jadi penduga parameter p dengan menggunakan metode maximum likelihood ialah

  X p = n B.

   Model Regresi Linear Sederhana

  Istilah regresi diperkenalkan oleh Francis Galton yang membandingkan tinggi badan anak laki-laki dengan tinggi badan ayahnya. Galton menunjukkan bahwa tinggi ayahnya, sedangkan anak laki-laki dari ayah yang badannya sangat pendek cenderung lebih tinggi daripada ayahnya.

  Suatu fungsi dikatakan linear dalam parameter β jika β hanya dengan pangkat satu dan tidak dikalikan atau dibagi dengan parameter lain dan β berderajat satu. Suatu fungsi dikatakan linear dalam variabel X jika X hanya dengan pangkat satu dan tidak dikalikan atau dibagi dengan variabel lain dan f(X) merupakan fungsi polynomial berderajat satu. Dari penafsiran linearitas tersebut, linearitas dalam parameter dapat mengikuti perkembangan teori regresi. Jadi istilah regresi linear akan selalu berarti suatu regresi yang linear dalam parameter β , mungkin linear atau tidak dalam variabel yang menjelaskan X. Persamaan regresi adalah persamaan matematik yang memungkinkan untuk meramalkan nilai-nilai suatu variabel tak bebas dari nilai-nilai satu atau lebih variabel bebas. Beberapa contoh model regresi yang termasuk model regresi linear adalah 1. β β ε

  Υ = + Χ + _{i 1 i i}

  1

  2. Υ = β β ε _i + + _{1 i} Χ _{2 i} 3. β β ε Υ _i = + Χ + _{1 i i} Suatu regresi akan membicarakan masalah pendugaan atau peramalan nilai variabel tak bebas Υ berdasarkan variabel bebas Χ . Variabel tak bebas diasumsikan bersifat statistik yaitu bahwa variabel tak bebas diambil dari sampel bukan dari populasi dan random yaitu suatu variabel yang nilainya ditentukan oleh hasil suatu eksperimen acak. Variabel bebas diasumsikan nir-stokastik (mempunyai nilai yang tetap dalam pengambilan sampel berulang) yaitu variabel bebas mengambil nilai yang

  Model regresi dari pengamatan dalam sampel akan memenuhi

  ( Χ , Υ ) _{i i}

  persamaan

  β β ε

  (2.2)

  Υ = + Χ + _{i 1 i i}

  dengan: variabel tak bebas, i

  1 , 2 , K , n

  Υ = = _i variabel bebas, i

  1 , 2 , K , n Χ = = _i β = koefisien regresi Χ terhadap Υ

  ε nilai error (galat) = _i Asumsi-asumsi regresi linear menurut Gauss:

  a. Model regresi adalah linear dalam parameter b.

  ε berdistribusi normal untuk setiap i _i c. ε mempunyai rata-rata 0 untuk setiap i _{i 2}

  d. ε = σ untuk semua x (homokedastisitas) Variansi dari _{i i}

  e. ε dan ε , i j adalah 0 Kovariansi ≠ _{i j}

  f. Variabel-variabel bebas adalah variabel yang nir-stokastik (mempunyai nilai yang tetap)

  E , i ( ) Χ = Χ ∀ _{i i}

  Akibat dari asumsi d dan asumsi c yaitu: ₂ Var ε σ , i

  ( ) = ∀ _{i 2 2} Var ε E ε E ε ( ) = − ( ) _{i ( ) i [ i ] 2 2} σ E ε = − _{2 2} ( ) i

  E ε σ =

  ( ) _i

  Asumsi e dikenal sebagai asumsi tidak adanya korelasi berurutan atau tidak ada autokorelasi (non autokorelasi). Asumsi ini mengakibatkan nilai E ε dan E ε saling

  ( ) i ( ) j

  bebas, hal ini ditunjukkan dalam penjabaran berikut ini:

  Cov ε , ε E ε E ε ε E ε = ( − ( ) ) −

  ( ) [ ( ( ) ) ] _{i j i i j j}

• = E ε ε − ε E ε − ε E ε E ε E ε

  [ ( ) ( ) ( ) ( ) ] _{i j i j j i i j} = + E ε ε − −

  [ ] _{i j} = E ε ε

  ( ) _{i j} E ε E ε

  = ( ) ( ) _{i j} =

  Akibat dari asumsi f adalah:

  Υ berdistribusi normal untuk setiap i dengan nilai harapan dan variansi: _i E Y E

  ( ) = ( β β Χ ε ) + + _{i 1 i i} ( ) ( β β ) ( ) ε + = + E E Χ E _{1 i i}

• = + Χ β β _{1 i}

  = + Χ β β _{1 i} var Y var

  ( ) = ( β β Χ ε ) _i + + _{1 i i} var var var

  = ( ) β ( β Χ ) ( ) ε + + _{1 i i} = var Χ ^{2 2}

_{1 i} σ

  β ( )

  Bagian var Χ adalah

  ( ) _{i 2}

  var Χ = E Χ − E Χ

  ( ) ( ( ) ) _{i i i 2} E

  = ( Χ − Χ ) _{i i 2} = E

  ( )

  = Substitusikan var ke Persamaan diatas menjadi

  ( ) Χ = _i

• var Y = ⋅
^{2 2}

  ( ) β _{i 2 1} σ

  = σ

C. Metode Kuadrat Terkecil

  Metode kuadrat terkecil adalah suatu metode pendugaan parameter dengan _{n 2} meminimumkan ε (jumlah residual kuadrat) sehingga diperoleh penduga _i

  ∑ _{i = 1}

  ˆ ˆ parameter β . Penduga (estimator) dalam pendugaan parameter tersebut adalah β dan ₁ aturan bagaimana menghitung nilai dugaan (estimate) berdasarkan pengukuran- pengukuran yang terdapat di dalam sampel. Persamaan penduga parameter dalam regresi linear sederhana adalah

  

ˆ ˆ ˆ

Υ = β β Χ + (2.3) _{i 1 i}

  Dengan mengingat kembali model regresi linear Persamaan (2.2) dan persamaan penduga parameter Persamaan (2.3), dapat dicari suatu nilai residual ε yaitu selisih antara nilai yang diamati dengan nilai yang diduga, yang dapat

  Υ Υ

  dinyatakan sebagai berikut: ˆ

  ε = Υ − Υ _{i i i} ˆ ˆ

  2.4 ε = Υ − β − β Χ ( ) _{i i i 1} Gauss dan Legendre (Plackett 1972 dan Stigler 1981) mengatakan bahwa

  ˆ ˆ penduga parameter β dapat dicari dengan metode kuadrat terkecil yaitu: β dan ¹ _{n 2}

  

min ε

_{ˆ ∑ i} (2.5) β

_{i =}

₁

  ˆ ˆ Prinsip kuadrat terkecil memilih β sedemikian rupa sehingga untuk suatu _{n 2} β dan ₁ sampel tertentu ε sekecil mungkin. _i

  ∑ _{i = 1}

  ˆ Penduga parameter β diperoleh dengan menurunkan secara parsial terhadap ˆ

  β dan menyamakan hasil yang diperoleh dengan nol sehingga didapat:

  Χ = Χ ∑

  β β β

  β β β β

  β β β β

  β β β β

  ε karena

  Υ = Υ ∑

  = n ^{n i i 1}

  dan

  = n ^{n i i 1}

  = ∂

  maka Persamaan (2.6) dapat ditulis dalam bentuk:

  ( )

  2.7 ˆ ˆ ₁

  Χ − Υ = β β

  Penduga parameter ₁

  ˆ

  β diperoleh dengan menurunkan

  

( )

∑

  ∂ β β β

  ∂ ∂

  ( ) ( ) ( )

  1 ₁ ^{1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 1 2} n n n n n n _{i i} ⁿ _{i i} ^{n i n i i i n i n i i i n i i n i i n i i n i n i i n i i i n i i i n i i i n i i}

  ( )

  2.6 ˆ ˆ

  ˆ ˆ

  ˆ ˆ ˆ ˆ

  ˆ ˆ ˆ ˆ

  ˆ ˆ

  2 ˆ ˆ

  ˆ ˆ

  ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑

  Χ − − Υ − = Χ − − Υ

  ∑ ∑ ∑ ∑ ∑ ∑

  ∑ = = = =

  = = = = = = = =

  = = =

  Χ −

  Υ =

  Χ − Υ =

  Χ − Υ = Χ − − Υ =

  Χ − − Υ = Χ − − Υ =

  

Χ − − Υ

ⁿ

_{i i}

² ₁ ˆ ˆ

β β

  ( ) ( ) ( )

  Χ − Χ Χ ⎟ ⎠ ⎞

  = Χ −

  ⎟ ⎠ ⎞

  ⎜ ⎝ ⎛

  Χ Υ Χ − Χ Υ

  = Χ − Χ Χ

  Υ Χ − Χ Υ =

  Χ − Χ Χ Υ Χ − Χ Υ

  = Χ Υ + Υ Χ − = ⎟

  ⎠ ⎞

  ⎜ ⎝ ⎛

  ⎜ ⎝ ⎛

  ⎜ ⎝ ⎛

  Χ − Χ Χ + Χ Υ − Υ Χ = Χ − Χ Χ + Χ Υ − Υ Χ =

  Χ − Χ Χ − Υ − Υ Χ =

  ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑

  ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑

  ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑

  ∑ ∑ ∑ = = = = =

  = = = = = = = = = = =

  = = = = = = = =

  = = = = = = = = = = = n _{i i} ⁿ _{i i} ^{n i i n i i n i i i n i}

ⁱ

^{n i i n i}

^{i i}

^{n i i n i i n i}

ⁱ

^{n i i n i i n i}

^{i i}

^{n i i n i i n i i n i i n i i i n i i n i i n i i i n i i n i i n i i n i i n i i n i i i n i i n i i n i i n i i i n i i}

ⁿ

ⁱ

^{i n i i i} n n n n n n

  β β β β β

  β β β

  Χ − Χ Χ Υ − Υ Χ

  ⎟ ⎠ ⎞

  ( )

  = ∂

  2.8 ˆ ˆ

  ˆ ˆ ˆ ˆ

  2 ˆ ˆ

  ˆ ˆ

  1 ^{2 1 1 1 1 1 1 1 1 2 1 1 1 1 2} ∑ ∑ ∑ ∑

  ∑ ∑ ∑

  = = = = = =

  =

  Χ − Χ − Υ Χ = Χ − − Υ Χ =

  Χ − − Υ Χ − = Χ − − Υ

  ∂ ∂

  ∂

  

2

_{1 1 2} ^{1 1 1 1 1}

²

^{2 1 1 1 1 1 1}

²

^{1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 2 1 1 1 2 1 1 1 1 2 1 1}

¹

^{1 1 1 2 1}

¹

^{1 1}

  n _{i i} ⁿ _{i i} ⁿ _{i i i} ^{n i i i i n i i i i n i i i n i i}

  β β β β

  β β β β

  β β ε

  Dengan mensubstitusikan Persamaan ( ) 2.7 ke Persamaan ( ) 2.8 didapatkan:

  ( ) ( )

  2.9 ˆ ˆ

  1

  1 ˆ ˆ ˆ

  ˆ ˆ ˆ

  ˆ ˆ

  β β

• Χ Υ

  − Χ = ⎟ ⎠ ⎞