Kata kunci: regresi isotonik, regresi isotonik aditif, metode kuadrat terkecil,

  

ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF

DENGAN METODE KUADRAT TERKECIL

  oleh YULIANA SITI NURAINI M0107071 SKRIPSI ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar

  Sarjana Sains Matematika

  

JURUSAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SEBELAS MARET

SURAKARTA

2012

  SKRIPSI

  

ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF

DENGAN METODE KUADRAT TERKECIL

  yang disiapkan dan disusun oleh YULIANA SITI NURAINI M0107071 dibimbing oleh

  Pembimbing I, Pembimbing II, Dra. Etik Zukhronah, M.Si. Supriyadi, M.Si.

  NIP. 19730225 199903 2 001 NIP. 19680611 199302 2 001 telah dipertahankan di depan Dewan Penguji pada hari Kamis, tanggal 19 Januari 2012 dan dinyatakan telah memenuhi syarat.

  Anggota Tim Penguji Tanda Tangan 1. Irwan Susanto, DEA.

  1. ………………… NIP. 19710511 199512 1 001 2. Drs. Siswanto, M.Si.

  2. ………………… NIP. 19670813 199203 1 002

  Surakarta, Januari 2012 Disahkan oleh Fakultas Matematika dan Ilmu Pengetahuan Alam

  Dekan, Ketua Jurusan Matematika, Ir. Ari Handono Ramelan, M.Sc., (Hons)., Ph.D. Irwan Susanto, DEA.

  

ABSTRAK

  Yuliana Siti Nuraini, 2012. ESTIMASI FUNGSI PENGHALUS PADA

  REGRESI

ISOTONIK ADITIF DENGAN METODE KUADRAT

  

TERKECIL. Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas

Sebelas Maret.

  Regresi isotonik merupakan salah satu cabang dari regresi nonparametrik. Pada model regresi isotonik, data diasumsikan monoton naik, dan fungsi regresinya diasumsikan termasuk ke dalam kelas fungsi penghalus. Salah satu model regresi isotonik yang mengandung lebih dari satu variabel bebas adalah model regresi isotonik aditif. Tujuan dari penelitian ini adalah mengkaji ulang estimasi fungsi regresi isotonik aditif dan selanjutnya, menerapkan ke dalam contoh kasus.

  Estimasi fungsi penghalus dalam model regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan melalui algoritma

  

backfitting yaitu , dengan dihitung menggunakan

PAVA . Secara geometri, masalah estimasi dengan metode kuadrat terkecil tersebut

  dapat juga dipandang sebagai masalah proyeksi dalam suatu ruang vektor .

  

Kata kunci: regresi isotonik, regresi isotonik aditif, metode kuadrat terkecil,

algoritma backfitting, proyeksi

  

ABSTRACT

  Yuliana Siti Nuraini, 2012. ESTIMATION OF SMOOTH FUNCTION

  

IN ADDITIVE ISOTONIC REGRESSION USING LEAST SQUARE

METHOD. Faculty of Mathematics and Natural Sciences, Sebelas Maret

  University.

  Isotonic regression is one kind of nonparametric regression. In this model, data is assumed as increasing monoton, and its function is assumed as smooth function class. One of this model that is containing more than one independent variable is called additive isotonic regression model. The goal of this research are to recite the estimation of isotonic regression function, and to apply its in a case.

  Estimation of smooth function in additive isotonic regression model uses least square method that is finished by backfitting algorithm, that is , where determined using PAVA. Geometrically, the problem of the method can be observed as projection problem in .

  

Keywords: isotonic regression, additive isotonic regression, least square method,

backfitting algorithm, projection

  

MOTTO

  Sesungguhnya sesudah kesulitan itu ada kemudahan. Maka apabila kamu telah selesai dari sesuatu urusan, kerjakanlah dengan sungguh- sungguh urusan yang lain. (Terjemahan Q.S. Al Insyirah : 6-7).

  

PERSEMBAHAN

Karya ini ku persembahkan untuk alm. bapak, ibu, dan ketiga kakakku

tercinta atas segala doa, motivasi, dan dukungannya serta kasih sayang yang

telah diberikan.

KATA PENGANTAR

  Puji syukur senantiasa penulis panjatkan kehadirat Allah SWT atas segala limpahan rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan skripsi ini. Terselesaikannya skripsi ini tidak lepas dari bimbingan dan bantuan dari berbagai pihak, untuk itu penulis mengucapkan terima kasih kepada

  1. Dra. Etik Zukhronah, M. Si. selaku Pembimbing I atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini.

  2. Supriyadi Wibowo, M. Si. selaku Pembimbing II atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini.

  3. Keluargaku yang selalu memberikan doa dan motivasi.

  4. Esi Mestalefa dan Lulu Atul Fajaroh yang telah memberikan masukan dan dukungan kepada penulis.

  5. Teman-teman matematika angkatan 2007 dan 2006 atas motivasi dan masukan yang telah diberikan dalam penyusunan skripsi ini.

  6. Semua pihak yang telah membantu kelancaran penulisan skripsi ini.

  Semoga karya ini dapat bermanfaat bagi pembaca.

  Surakarta, Januari 2012 Penulis

  

DAFTAR ISI

  JUDUL ............................................................................................................... i PENGESAHAN ................................................................................................. ii ABSTRAK ......................................................................................................... iii

  

ABSTRACT ......................................................................................................... iv

  MOTTO ............................................................................................................. v PERSEMBAHAN .............................................................................................. vi KATA PENGANTAR ....................................................................................... vii DAFTAR ISI ...................................................................................................... viii DAFTAR GAMBAR ......................................................................................... x DAFTAR NOTASI ............................................................................................ xi

  

BAB I PENDAHULUAN .............................................................................. 1

  1.1 Latar Belakang Masalah ................................................................ 1

  1.2 Perumusan Masalah ...................................................................... 3

  1.3 Batasan Masalah ........................................................................... 3

  1.4 Tujuan .......................................................................................... 3

  1.5 Manfaat ........................................................................................ 3

  BAB II LANDASAN TEORI ......................................................................... 4

  2.1 Tinjauan Pustaka ........................................................................... 4

  2.2 Teori-teori penunjang .................................................................... 5

  2.2.1 Regresi Isotonik ................................................................ 5

  2.2.2 Himpunan Convex Cone ................................................... 8

  2.2.3 Proyeksi ............................................................................. 11

  2.2.4 Metode Kuadrat Terkecil .................................................. 13

  2.2.5 (PAVA) .................. 14

  Pooled Adjacent Violators Algorithm

  2.2.6 Masalah Dual dari Regresi Isotonik ..................................15

  2.2.7 Algoritma Dykstra ............................................................. 16

  

BAB III METODE PENELITIAN ................................................................. 20

BAB IV PEMBAHASAN ................................................................................ 21

  4.1 Estimasi Fungsi Penghalus Regresi Isotonnik Aditif dengan Metode Kuadrat Terkecil (MKT) ............................................................... 21

  4.2 Contoh Kasus ................................................................................ 26

  4.2.1 Deskripsi Data ..................................................................... 26

  4.2.2 Estimasi Fungsi Penghalus .................................................. 27

  

BAB V PENUTUP ............................................................................................ 30

  5.1 Kesimpulan ....................................................................................... 30

  5.2 Saran .................................................................................................. 30

  

DAFTAR PUSTAKA ....................................................................................... 31

LAMPIRAN ...................................................................................................... 32

  

DAFTAR GAMBAR

Gambar 4.1 Grafik konsumsi bahan bakar gas terhadap berat mobil . 27Gambar 4.2 Grafik konsumsi bahan bakar gas terhadap pergantian oli mesin

  .................................................................................................................... 27

DAFTAR NOTASI

  : vektor variabel tak bebas : matriks variabel bebas

  : vektor variabel bebas ke : rata-rata dari vektor : vektor konstanta

  : vektor fungsi penghalus dari variabel bebas : vektor variabel random : matriks identitas : ruang vektor dimensi

  : ruang vektor dimensi sebanyak variabel bebas : himpunan convex cone : himpunan convex cone dari fungsi regresi pada variabel bebas ke

  : matriks fungsi regresi dari variabel bebas : vektor fungsi regresi dari variabel bebas ke

  : elemen fungsi penghalus dari variabel bebas ke untuk observasi ke : elemen fungsi regresi dari variabel bebas ke untuk observasi ke

  : hasil estimasi variabel tak bebas : hasil estimasi fungsi penghalus

  : proyeksi dari vektor ke himpunan convex cone : himpunan dual cone dari himpunan convex cone

  : irisan dari himpunan convex cone untuk variabel bebas : perubahan kenaikan dari proses proyeksi

  : barisan fungsi penghalus dari variabel bebas ke pada iterasi ke : irisan dari himpunan dual cone untuk variabel bebas

BAB I PENDAHULUAN

1.1 Latar Belakang Masalah

  Banyak permasalahan dalam kehidupan nyata yang dapat diformulasikan ke dalam suatu model regresi karena lebih mudah digunakan dan lebih representatif. Menurut Sembiring [10], model regresi adalah model yang menentukan hubungan antara variabel bebas dan variabel tak bebas. Salah satu bentuk hubungan tersebut adalah monoton. Hubungan monoton ada dua yaitu monoton naik dan monoton turun.

  Salanti [9] mengemukakan bahwa metode regresi yang dapat digunakan dalam bentuk hubungan variabel bebas dan variabel tak bebas monoton adalah regresi monotonik. Terdapat dua jenis metode regresi monotonik, yaitu regresi antitonik dan regresi isotonik. Regresi antitonik adalah metode regresi yang digunakan apabila hubungan antara variabel bebas dan variabel tak bebas berbetuk monoton turun. Apabila hubungan antara variabel bebas dan variabel tak bebasnya berbentuk monoton naik, metode regresi yang digunakan disebut regresi isotonik. Pada penelitian ini akan dibahas khusus untuk regresi isotonik. Satu- satunya asumsi pada regresi isotonik adalah nilai naik untuk nilai yang naik (Friedman dan Tibshirani [4]).

  Pada penelitian Setiani [11] telah dibahas mengenai model regresi isotonik dengan satu variabel bebas dan satu variabel tak bebas. Oleh karena itu dalam skripsi ini, peneliti akan membahas model regresi isotonik dengan variabel bebas lebih dari satu. Model regresi ini disebut sebagai model regresi isotonik aditif. Model regresi isotonik aditif adalah model yang menjelaskan bahwa suatu variabel tak bebas merupakan jumlah dari fungsi regresi pada masing-masing variabel bebas yang mempengaruhi.

  Menurut Suparti [14], apabila dilihat dari asumsi bentuk fungsinya terdapat dua pendekatan yang dapat dilakukan dalam mengestimasi fungsi regresi, yaitu pendekatan parametrik dan nonparametrik. Pendekatan parametrik dilakukan sehingga mengestimasi fungsi regresi sama artinya dengan mengestimasi parameternya. Pendekatan nonparametrik dilakukan saat asumsi bentuk fungsi regresi tidak diketahui. Regresi isotonik merupakan salah satu jenis model regresi yang menggunakan pendekatan nonparametrik.

  Menurut Suparti [14], fungsi regresi nonparametrik termuat dalam kelas fungsi penghalus artinya mempunyai turunan yang kontinu. Mammen dan Yu [8] mengestimasi fungsi regresi pada regresi isotonik aditif menggunakan metode kuadrat terkecil. Metode ini memiliki kelebihan, yaitu sederhana, mudah dalam perhitungannya, dan konsisten. Prinsip dari metode kuadrat terkecil adalah mencari nilai estimasi fungsi regresi yang meminimumkan sesatan. Menurut Mammen dan Yu, prinsip ini identik dengan prinsip proyeksi dalam geometri, yaitu mencari jarak terdekat dari dua vektor di .

  Pada penelitian Mammen dan Yu [8], dan Hinder [6] masalah estimator kuadrat terkecil pada regresi isotonik aditif diselesaikan dengan menggunakan algoritma backfitting. Hinder [6] mengatakan bahwa algoritma backfitting merupakan algoritma berulang dari metode kuadrat terkecil untuk setiap fungsi regresi pada regresi isotonik aditif. Oleh karena itu, algoritma ini cocok digunakan ketika fungsi regresi dari suatu model tidak diketahui. Pooled Adjacent Violators

  

Algorithm (PAVA) digunakan di dalam algoritma backfitting ini untuk menghitung

setiap fungsi regresi yang diestimasi.

  adalah suatu algoritma yang digunakan untuk menghitung estimasi

  PAVA

  fungsi regresi agar hasil estimasi memenuhi asumsi monoton naik. Sehingga, dengan diterapkannya PAVA dalam algoritma backfitting menjamin hasil estimasi fungsi regresi dengan metode kuadrat terkecil, memenuhi asumsi pada regresi isotonik.

  Berdasarkan hal tersebut, peneliti tertarik untuk mengkaji ulang estimasi fungsi regresi isotonik khususnya untuk fungsi penghalus pada regresi isotonik aditif. Metode yang digunakan untuk mengestimasi fungsi regresi isotonik aditif adalah metode kuadrat terkecil. Metode ini diselesaikan melalui algoritma

  

backfitting dan menggambarkannya sebagai proses proyeksi dalam suatu ruang vektor . Setelah itu menerapkan langkah-langkah estimasi fungsi regresi tersebut ke dalam contoh kasus.

1.2 Rumusan Masalah

  Berdasarkan latar belakang masalah, disusun perumusan masalah bagaimana estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.

1.3 Batasan Masalah

  Agar tidak memperluas pembahasan, penulisan skripsi ini dibatasi pada estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan dengan algoritma backfitting.

1.4 Tujuan Penelitian

  Tujuan penulisan skripsi ini adalah mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.

1.5 Manfaat Penelitian

  Manfaat dari penelitian ini adalah mengetahui hubungan antara metode kuadrat terkecil dan proyeksi, yaitu prinsip metode kuadrat terkecil identik dengan masalah proyeksi.

BAB II LANDASAN TEORI Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang berisi

  penelitian-penelitian sebelumnya yang mendasari penelitian ini. Pada bagian kedua dari bab ini diberikan teori-teori penunjang yang berisi definisi-definisi sebagai dasar pengertian untuk mempermudah pembahasan selanjutnya. Pada bagian ketiga dari bab ini disusun kerangka pemikiran yang menjelaskan alur pemikiran dalam penulisan skripsi ini.

2.1 Tinjauan Pustaka

  Pada tahun 1972 Barlow [1] menulis sebuah buku yang memperkenalkan tentang regresi isotonik. Dia membahas tentang regresi isotonik beserta metode- metode estimasi fungsi regresi. Metode estimasi yang dibahas oleh Barlow [1] adalah metode kuadrat terkecil dan metode maksimum likelihood. Kedua metode tersebut banyak digunakan juga oleh peneliti-peneliti lain untuk mengestimasi fungsi regresi pada berbagai masalah regresi.

  Dahlbom [3] telah melakukan penelitian pada tahun 1998 tentang metode estimasi kuadrat terkecil terbobot. Metode estimasi yang dibahas oleh Dahlbom [3] merupakan perluasan dari metode estimasi kuadrat terkecil regresi isotonik yang telah dibahas oleh Barlow [1]. Dahlbom [3] membatasi penelitian hanya untuk kasus persamaan regresi dengan satu variabel bebas.

  Kasus lain yang lebih luas, yaitu masalah regresi dengan variabel bebas lebih dari satu yang telah diteliti oleh Mammen dan Yu [8] pada tahun 2007. Mammen dan Yu [8] menyebutkan bahwa model regresi isotonik dengan variabel bebas lebih dari satu disebut dengan regresi isotonik aditif. Metode estimasi fungsi regresi isotonik aditif yang digunakan oleh Mammen dan Yu [8] adalah metode kuadrat terkecil yang diselesaikan dengan menggunakan algoritma

  

backfitting . Algoritma ini digunakan untuk mempermudah perhitungan estimasi

fungsi regresi pada regresi isotonik aditif.

  Pada tahun 2008 Hinder [6] menyempurnakan penelitian yang telah dilakukan oleh Mammen dan Yu [8]. Pada penelitian Hinder [6] telah dibuktikan teorema kekonvergenan dari algoritma backfitting. Pada penelitian ini akan mengkaji ulang hasil penelitian Mammen dan Yu [8], dan Hinder [6].

2.2 Teori-teori Penunjang

  Untuk menyelesaikan perumusan masalah, perlu untuk menguraikan terlebih dahulu beberapa hal yang mendasari penelitian ini. Adapun beberapa hal tersebut meliputi regresi isotonik, himpunan convex cone, proyeksi, metode kuadrat terkecil, Pooled Adjacent Violators Algorithm (PAVA), masalah dual dari regresi isotonik, algoritma Dykstra.

2.2.1 Regresi Isotonik

  Menurut Colombo [2], model regresi isotonik untuk satu variabel bebas dan satu variabel tak bebas dapat dinyatakan sebagai berikut dengan

  : vektor variabel tak bebas yang berukuran , : vektor variabel bebas yang berukuran ,

  : vektor konstanta yang berukuran yang tidak diketahui, : fungsi penghalus dari vektor variabel bebas yang tidak diketahui.

  : vektor variabel random berukuran , dengan rata-rata berarti dan variansi untuk observasi ke sebagai berikut, serta covariansi untuk observasi ke dan ke sebagai berikut, Nilai varians-kovarians untuk n observasi dapat diringkas dalam bentuk matriks di bawah ini.

  Karena tidak ada korelasi antara dan , untuk , maka dengan adalah matriks identitas berukuran . Matriks pada persamaan disebut dengan matriks varians-kovarians.

  

Definisi 2.2.1. (Colombo [2]) Hubungan biner pada vektor dikatakan

terurut sederhana pada vektor jika

  a. , untuk ; Refleksif: b. , , maka ; Transitif: jika c. , , maka ; Antisimetris: jika d. berlaku atau

   Setiap dua elemen pada vektor dibandingkan: .

  Suatu fungsi penghalus pada persamaan dikatakan isotonik apabila memenuhi definisi berikut.

  

Definisi 2.2.2. (Colombo [2]) Misal adalah suatu vektor yang terdiri dari

yang terurut sederhana . Suatu fungsi pada

bernilai real dikatakan isotonik, jika dan dikatakan

antitonik, jika .

  Berdasarkan Definisi 2.2.2 dapat diartikan bahwa fungsi penghalus dikatakan isotonik apabila fungsi tersebut memiliki sifat monoton naik. Menurut Hinder [6], model regresi isotonik untuk lebih dari satu variabel bebas dan satu variabel tak bebas disebut model regresi isotonik aditif. Model regresi tersebut dinyatakan sebagai berikut dengan adalah fungsi penghalus dari vektor variabel bebas ke- . berbentuk vektor kolom, dengan dan adalah konstanta yang tidak diketahui. Hastie dan Tibshirani [4] menyebutkan bahwa nilai , yaitu rata-rata dari . Pada tulisan ini diasumsikan sama dengan nol. Apabila model yang diperoleh memuat yang tidak nol, maka diganti dengan , dengan adalah rata-rata dari sehingga diperoleh sama dengan nol.

  Oleh karena itu, dengan asumsi bahwa persamaan memuat yang sama dengan nol maka pada persamaan dapat dihilangkan, sehingga diperoleh persamaan,

2.2.2 Himpunan Convex Cone

  Schott [12] menyebutkan bahwa himpunan convex adalah himpunan bagian dari suatu ruang . Himpunan convex ini dinotasikan dengan , dapat dituliskan dengan . Misal diberikan matriks , dengan vektor dan , dapat dituliskan dalam matriks

  Misalkan , dengan adalah fungsi dari matriks dituliskan dengan , dengan adalah fungsi dari vektor , untuk setiap . Fungsi tersebut dapat dituliskan dalam bentuk matriks,

  

Definisi 2.2.3. (Hoffmann [7]) Misalkan , adalah himpunan semua

kolom yang sama pada matriks , dinotasikan dengan suatu vektor ,

dan vektor sedemikian sehingga terdapat matriks . Dengan

kata lain, .

  Berdasarkan Definisi 2.2.3, persamaan dapat dituliskan menjadi, dengan untuk setiap dimana , dan adalah himpunan bagian dari , , dengan .

  

Definisi 2.2.4. (Schott [12]) Suatu himpunan dikatakan himpunan

convex, jika untuk setiap vektor dan vektor , berlaku dimana adalah skalar yang memenuhi .

  Karena adalah himpunan convex dan , untuk setiap , maka juga himpunan convex di ruang vektor .

  

Definisi 2.2.5. (Hinder [6]) Suatu himpunan dikatakan himpunan cone, jika

untuk setiap matriks dan berlaku

  Pada tulisan ini, hasil kali skalar dalam suatu ruang vektor didefinisikan sebagai berikut.

  Definisi 2.2.6. (Smith dan Minton [13]) Hasil kali titik dari dua vektor

dan di didefinisikan dengan,

  

Definisi 2.2.7. (Hoffmann [7]) Hasil kali skalar dari didefinisikan

dengan,

  Berdasarkan Definisi 2.2.6 dan 2.2.7 dapat disimpulkan bahwa hasil kali titik sama dengan hasil kali skalar, atau dapat dituliskan dengan .

  

Definisi 2.2.8. (Hoffmann [7]) Hasil kali skalar dari vektor ,

dengan dan ,

untuk setiap didefinisikan dengan,

  Operasi hasil kali skalar pada Definisi 2.2.8 digunakan dalam beberapa definisi berikut.

  

Definisi 2.2.9. (Barlow, et al. [1]) Misalkan adalah himpunan convex cone dari

matriks pada , , dengan adalah fungsi

dari vektor yang memenuhi: a) dan vektor , maka jika vektor

  , dengan , dan b) dan , maka .

   dikatakan dual cone dari , jika vektor , untuk setiap , maka

dengan dan ,

untuk semua vektor .

2.2.3 Proyeksi

  Pada penelitian Mammen dan Yu [8], menyebutkan bahwa regresi isotonik dengan satu variabel bebas, estimasi fungsi regresi diperoleh dari proyeksi vektor ke convex cone dari vektor isotonik di . Dengan kata lain, estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas, dengan vektor , untuk , maka atau ditulis

  , merupakan proyeksi dari vektor , ke convex cone dari vektor isotonik di . Proyeksi ini disimbolkan dengan . Selanjutnya akan dijelaskan proyeksi ke convex cone dari vektor isotonik untuk regresi isotonik dengan variabel bebas. Persamaan regresi isotonik dengan variabel bebas pada persamaan dapat dituliskan menjadi, Vektor adalah jumlahan dari semua elemen baris yang sama pada matriks

  . Dengan kata lain, , untuk setiap , dan , maka . Atau dapat dituliskan dengan , dengan adalah himpunan bagian dari . Sehingga juga merupakan himpunan bagian dari , ditulis .

  

Definisi 2.2.10. (Hoffmann [7]) merupakan himpunan convex cone dari vektor

isotonik di . Titik terdekat dari ke vektor adalah

  

Definisi 2.2.11. (Hoffmann [7]) Suatu proyeksi , yaitu proyeksi dari

vektor ke sebuah convex cone isotonik memiliki tiga sifat berikut: a.

  b.

  c.

  , untuk semua .

  Sebagai contoh, berikut ini akan diberikan gambar proyeksi pada regresi isotonik dengan dua variabel bebas. Misal terdapat persamaan regresi isotonik dengan dua variabel bebas dan hasil estimasi dituliskan dengan Estimasi vektor digambarkan dalam proyeksi seperti pada Gambar 2.1, dengan .

Gambar 2.1. Proyeksi dari vektor ke convex cone dari vektor isotonik , dengan

  Dari Gambar 2.1 terlihat bahwa , adalah jarak terdekat dari vektor ke convex cone dari vektor isotonik, dengan vektor . Sehingga diperoleh vektor yang meminimumkan sesatan, . Dengan kata lain, dapat dikatakan bahwa masalah proyeksi adalah pendekatan geometri dari masalah estimasi kuadrat terkecil pada regresi.

2.2.4 Metode Kuadrat Terkecil

  Selanjutnya Sembiring [10] mengemukakan bahwa metode estimasi yang baik untuk mengestimasi fungsi regresi adalah dengan menggunakan metode kuadrat terkecil. Estimasi untuk fungsi penghalus pada regresi isotonik dengan satu variabel bebas diperoleh dengan meminimumkan jumlah kuadrat dari sesatan, Pada regresi isotonik dengan satu variabel bebas didapat, dengan , dan Sehingga,

  Estimasi fungsi penghalus regresi isotonik aditif untuk variabel bebas analog dengan estimasi untuk satu variabel bebas, yaitu meminimumkan jumlah kuadrat sesatan berikut. Pada regresi isotonik dengan variabel bebas, dengan , maka dengan , dan Sehingga diperoleh,

  Menurut Zhang [15], prinsip dari estimasi fungsi regresi dengan menggunakan metode kuadrat terkecil identik dengan prinsip pada masalah proyeksi. Oleh karena itu, secara geometri estimasi fungsi regresi isotonik aditif dapat dipandang sebagai masalah proyeksi.

  Algoritma perhitungan untuk mengestimasi fungsi penghalus regresi isotonik aditif, mengikuti algoritma backfitting. Di dalam algoritma backfitting digunakan aplikasi dari Pooled Adjacent Violators Algorithm (PAVA) untuk masing-masing fungsi penghalus yang diestimasi. Selanjutnya, akan diberikan penjelasan tentang PAVA beserta langkah-langkah penggunaannya.

2.2.5 Pooled Adjacent Violators Algorithm (PAVA)

  Salanti [9] menyebutkan bahwa Pooled Adjacent Violators Algorithm (PAVA) adalah algoritma yang biasa digunakan dalam analisis regresi isotonik. Algoritma ini menjamin estimasi fungsi penghalus memenuhi asumsi monoton

  Diketahui merupakan fungsi penghalus dari variabel bebas ke , dengan dan . Menurut Colombo [2], Pooled Adjacent

  Violators Algorithm (PAVA) dapat dinyatakan sebagai berikut 1.

  Jika adalah memenuhi asumsi isotonik , maka .

  , maka kedua nilai tersebut diganti dengan nilai rata-rata keduanya, .

2. Jika untuk beberapa berlaku

  3. Jika himpunan baru sebanyak nilai ini memenuhi asumsi isotonik, yaitu maka, dan , untuk .

  4. Jika himpunan baru ini belum memenuhi asumsi isotonik, maka proses ini diulang dari langkah kedua menggunakan nilai dari himpunan baru, hingga diperoleh himpunan yang memenuhi asumsi monoton naik.

2.2.6 Masalah Dual dari Regresi Isotonik

  Misal terdapat regresi isotonik dengan satu variabel bebas, estimasi fungsi penghalus diperoleh dengan meminimumkan persamaan dengan adalah himpunan convex cone dari vektor isotonik .

  Persamaan dapat diselesaikan melalui bentuk dual dari persamaan tersebut, yaitu dengan adalah dual cone dari convex cone . Hubungan antara masalah dual pada persamaan dan masalah asli pada persamaan dijelaskan dalam teorema berikut.

  

Teorema 2.2.12. (Hinder [6]) Jika adalah himpunan convex cone tidak kosong

dan melambangkan dual cone dari , maka penyelesaian untuk persamaan

dapat diselesaikan melalui

dengan adalah penyelesaian untuk persamaan . Atau sama artinya dengan

dengan adalah matriks identitas.

  Jika masalah dual lebih mudah diselesaikan daripada masalah asli, maka dari hasil masalah dual dapat diperoleh penyelesaian untuk masalah asli, yaitu melalui persamaan dengan adalah hasil estimasi dari masalah dual, dan adalah hasil estimasi untuk masalah asli.

2.2.7 Algoritma Dykstra

  Selanjutnya, akan dibangun suatu algoritma untuk menyelesaikan bentuk permasalahan berikut. dengan adalah himpunan convex cone dan berjumlah terbatas. Hinder [6] menyebutkan bahwa masalah pada persamaan dapat diselesaikan melalui algoritma Dykstra.

  Algoritma Dykstra adalah suatu algoritma berulang yang menggunakan prinsip proyeksi untuk membangun suatu barisan fungsi sedemikian sehingga konvergen ke . Algoritma Dykstra untuk menyelesaikan masalah pada persamaan diberikan sebagai berikut. Algoritma Proyeksi Dykstra: 1.

  Misal menunjukkan proyeksi ke cone dan menotasikan perubahan kenaikan yang diberikan oleh proyeksi, yaitu . Sehingga dapat ditulis, .

  2. Misal adalah proyeksi ke . Perubahan kenaikan , sehingga .

  3. Berlanjut hingga .

  Dengan menunjukkan proyeksi dari ke . Kenaikan yang baru ditunjukkan dengan

  , sedemikian sehingga .

  4. Secara umum adalah proyeksi dari ke cone pada iterasi ke . Dan

  . Sehingga .

  5. Berlanjut hingga tingkat konvergensi dicapai.

  Konvergensi dari algoritma Dykstra ditunjukkan dalam teorema di bawah ini.

  

Teorema 2.2.13. (Hinder [6]) Vektor konvergen ke , dengan ,

dan untuk .

  Sebagai contoh, misal akan diselesaikan permasalahan dengan adalah himpunan convex cone untuk , dan juga merupakan himpunan convex cone. Persamaan dapat dibentuk persamaan dualnya

  Hubungan antara penjumlahan dan irisan dari himpunan dual cone telah dijelaskan dalam Zhang [15].

  

Proposisi 2.2.14. (Zhang [15]) jika adalah himpunan convex cone,

maka

  Oleh karena itu, masalah dual pada persamaan dapat dituliskan dengan, Seperti pada persamaan , masalah pada persamaan juga dapat diselesaikan dengan menggunakan algoritma Dykstra.

2.3 Kerangka Pemikiran

  Berdasarkan tinjauan pustaka, dapat disusun suatu kerangka pemikiran untuk menyelesaikan permasalahan dalam penelitian ini. Pada penelitian ini akan dibahas model regresi isotonik aditif, yaitu model regresi isotonik yang mempunyai lebih dari satu variabel bebas dan satu variabel tak bebas. Fungsi penghalus di dalam model regresi isotonik aditif tidak diketahui, sehingga perlu dilakukan estimasi fungsi penghalus . Metode yang akan digunakan untuk mengestimasi fungsi penghalus pada model regresi isotonik dipandang sebagai masalah proyeksi karena prinsip meminimumkan sesatan pada metode kuadrat terkecil identik dengan mencari jarak terdekat dari dua vektor di ruang . Dalam kasus ini, vektor diproyeksikan ke convex cone dari vektor isotonik, disimbolkan dengan . Masalah estimasi dengan menggunakan metode kuadrat terkecil ini dapat diselesaikan melalui algoritma backfitting. Pada algoritma backfitting menerapkan PAVA untuk masing-masing fungsi penghalus yang diestimasi pada regresi isotonik aditif. Langkah selanjutnya, membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting. Kemudian memberikan contoh aplikasi untuk menerapkan langkah-langkah estimasi fungsi penghalus pada regresi isotonik aditif.

BAB III METODE PENELITIAN Metode penelitian yang digunakan dalam penulisan skripsi ini adalah

  kajian pustaka yaitu dengan mengumpulkan referensi berupa buku, skripsi, jurnal maupun tulisan-tulisan yang dimuat di situs web yang berkaitan dengan regresi isotonik. Kemudian menjelaskan kembali hasil penelitian dari jurnal atau sumber lain yang diperoleh.

  Langkah-langkah yang dilakukan dalam pembahasan rumusan masalah sebagai berikut,

  1. mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.

  a. metode kuadrat terkecil diselesaikan melalui algoritma backfitting, b. metode kuadrat terkecil dipandang sebagai masalah proyeksi dalam suatu ruang vektor ,

  2. membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting,

  3. memberikan contoh aplikasi untuk menerapkan algoritma estimasi fungsi penghalus pada regresi isotonik aditif.

BAB IV PEMBAHASAN

  

4.1 Estimasi Fungsi Penghalus Pada Regresi Isotonik Aditif dengan Metode

Kuadrat Terkecil (MKT)

  Pada BAB II telah dikemukakan bahwa dalam penelitian ini akan membahas model regresi isotonik, khususnya untuk kasus lebih dari satu variabel bebas. Model yang sesuai untuk merepresentasikan regresi isotonik tersebut adalah model regresi isotonik aditif. Persamaan regresi isotonik aditif dijelaskan sebagai berikut.

  Diketahui vektor random , dimana vektor adalah variabel tak bebas, dan vektor adalah variabel bebas ke , . Persamaan regresi isotonik aditif diberikan seperti pada persamaan

  . Nilai harapan bersyarat untuk tertentu adalah vektor dianggap sebagai fungsi monoton naik pada vektor .

  Fungsi penghalus diestimasi dengan menggunakan metode kuadrat terkecil. Sebelum mengestimasi fungsi penghalus pada regresi isotonik dengan variabel bebas, akan dijelaskan terlebih dahulu estimasi untuk regresi isotonik dengan satu variabel bebas. Menurut Mammen dan Yu [6], estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas dapat dipandang sebagai proyeksi dari vektor respon ke himpunan convex cone dari vektor isotonik. Definisi untuk proyeksi dan himpunan convex cone telah dipaparkan dalam BAB II.

  Persamaan regresi isotonik dengan satu variabel dituliskan seperti pada persamaan . Estimasi fungsi penghalus pada regresi isotonik tersebut adalah yang diperoleh dengan meminimumkan masalah pada persamaan, dan adalah estimasi fungsi penghalus isotonik dari vektor , . Menurut Hinder [6], penyelesaian dari masalah ini dipandang sebagai proyeksi dari vektor ke himpunan convex cone . Jika proyeksi ini dinotasikan dengan , maka penyelesaian yang berarti bahwa vektor diperoleh dengan meminimumkan jarak vektor ke himpunan convex cone dari vektor isotonik.

  Ide proyeksi ini dapat juga digunakan untuk masalah regresi isotonik dengan variabel bebas. Misalkan , adalah himpunan convex cone dari vektor isotonik dengan panjang untuk vektor . Sehingga estimasi kuadrat terkecil regresi isotonik dengan variabel bebas dari persamaan adalah masalah minimisasi yang dapat dituliskan dengan, dengan , dan menunjukkan himpunan gabungan dari . Penyelesaian dari persamaan dapat dipandang sebagai proyeksi dari vektor ke himpunan convex cone dari vektor isotonik. Masalah minimisasi pada persamaan dapat dituliskan kembali sebagai masalah minimisasi terhadap himpunan cartesian product .

  Misalkan dan

  , maka Penyelesaian pada persamaan dapat diselesaikan melalui persamaan . dari persamaan dapat dituliskan dengan , dengan , untuk setiap diperoleh dari persamaan .

  Algoritma yang umum digunakan untuk memecahkan masalah pada persamaan ini disebut dengan algoritma backfitting. Algoritma backfitting merupakan algoritma berulang yang meminimumkan persamaan untuk salah satu , dengan , tetap untuk setiap langkah. Sehingga menghasilkan barisan dan , yaitu fungsi dari vektor variabel bebas ke pada iterasi ke . dapat dituliskan dengan, dengan . Dengan kata lain, diperoleh dengan meminimumkan persamaan . Algoritma backfitting menghasilkan barisan yang merupakan proyeksi dari ke himpunan convex cone dari vektor isotonik, yang dilambangkan dengan , dapat dituliskan dengan sama artinya dengan,

  Contoh gambar proyeksi algoritma backfitting untuk dua variabel bebas di terdapat pada Lampiran 3.

  Masalah perhitungan untuk setiap pada persamaan dapat diselesaikan dengan menggunakan PAVA di dalam algoritma backfitting. Algoritma backfitting dengan menerapkan PAVA untuk setiap adalah sebagai berikut. Algoritma backfitting: 1. pada iterasi awal, adalah nol, atau dapat

  Nilai awal fungsi ditulis dengan, , untuk setiap .

  2. dan untuk variabel bebas Selanjutnya, pada iterasi a.

  Menghitung sisaan dengan, adalah vektor sisaan untuk variabel bebas ke , pada iterasi ke-

  b. pada regresi isotonik menggunakan PAVA Menghitung atau dapat diartikan bahwa diperoleh dari regresi isotonik , dengan .

  3. Perhitungan berhenti ketika mencapai tingkat konvergensi, dengan kriteria konvergensi dengan .

  Selanjutnya, konvergensi dari algoritma backfitting ditunjukkan dalam Teorema 4.1.

  Teorema 4.1 (Hinder [6]) Barisan konvergen ke , dengan dan . Jika masalah pada persamaan memiliki penyelesaian tunggal, katakan , maka barisan konvergen ke vektor dengan elemen konstan untuk dan .

  Bukti: Algoritma backfitting pada persamaan yang digunakan untuk algoritma Dykstra dalam Bab II. Selanjutnya akan dijelaskan mengenai hubungan antara kedua algoritma tersebut. Misal diberikan himpunan convex cone yang dinotasikan dengan dan adalah dual cone dari . Proyeksi ke dinotasikan

  , dengan menggunakan Teorema 2.2.12 sehingga proyeksi ke dinotasikan dengan .

  Misal diberikan , dengan adalah himpunan convex cone dari vektor isotonik di . Jika proyeksi ke adalah , maka dengan Teorema 2.2.12, proyeksi ke dinotasikan dengan . Sisaan setelah iterasi ke untuk variabel bebas ke pada algoritma backfitting dinotasikan dengan . Dari notasi ini, dapat diperoleh algoritma sebagai berikut. dengan memisalkan untuk perubahan kenaikan, terlihat bahwa persamaan dan membentuk algoritma proyeksi Dykstra untuk menyelesaikan permasalahan berikut

  Berdasarkan Teorema 2.2.13, diketahui bahwa konvergen ke , dengan , dan . Pada Teorema 2.2.12 diketahui bahwa , berlaku juga untuk , dengan . Berdasarkan penjelasan Teorema 2.2.12 dan 2.2.13, sehingga dapat disimpulkan bahwa konvergen ke untuk , dan . Hal ini juga berlaku apabila persamaan memiliki penyelesaian tunggal.

  

4.2 Contoh Kasus

4.2.1 Deskripsi Data

  Model regresi isotonik aditif diterapkan pada data konsumsi gas mobil di Negara Amerika. Data yang digunakan diambil dari contoh kasus dalam Hinder [6]. Pada bagian ini, peneliti mempelajari secara singkat tentang pengaruh terbesar antara berat mobil dengan pergantian oli mesin terhadap kenaikan konsumsi gas mobil . Sampel yang digunakan sebanyak 60 mobil, dengan satuan untuk konsumsi gas mobil dalam liter per100 kilometer (l/100km), berat mobil dalam kilogram (kg), dan pergantian oli mesin dalam liter (l). Kedua variabel dan diasumsikan mempunyai pengaruh yang positif terhadap konsumsi gas . Data konsumsi gas pada mobil disajikan dalam Lampiran 1.

  Berdasarkan data pada Lampiran 1, dapat dilihat hubungan antara berat mobil dan pergantian oli mesin terhadap konsumsi gas melalui Gambar 4.1 dan

Gambar 4.2. Pada Gambar 4.1 menunjukkan scatter plot dari data berat mobil dan konsumsi bahan bakar gas cenderung naik. Sehingga dapat diartikan bahwa berat

  mobil memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Pada Gambar 4.2 menunjukkan scatter plot dari data pergantian oli mesin dan konsumsi bahan bakar gas juga cenderung naik. Sehingga, dapat diartikan bahwa pergantian oli mesin juga memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Oleh karena itu, data pada Lampiran 1 dapat digunakan sebagai

  800 1000 1200 1400 1800 1600 13 12 11 10 9 8 7 6 x1 y

Scatterplot of y vs x1

Gambar 4.1. Grafik konsumsi bahan bakar gas terhadap berat mobil

  5 4

3

2 1 13 12 11 10 9 8 7 6 x2 y

Scatterplot of y vs x2

Gambar 4.2. Grafik konsumsi bahan bakar gas terhadap pergantian oli mesin

4.2.2 Estimasi Fungsi Penghalus

  Pada model regresi isotonik aditif dengan dua variabel bebas terdapat dua fungsi penghalus, dan yang perlu diestimasi. Proses estimasi fungsi penghalus dilakukan dengan menggunakan metode kuadrat terkecil. Pada regresi ini, bentuk fungsi penghalus tidak diketahui maka metode kuadrat terkecil diselesaikan melalui algoritma backfitting. Nilai nilai awal untuk fungsi yaitu untuk setiap . Algoritma backfitting untuk contoh kasus ini diberikan sebagai berikut.

  1. , untuk setiap .

  Nilai awal 2. diperoleh

  Saat iterasi pertama, a. untuk variabel bebas pertama, dan diperoleh dengan menggunakan PAVA b. untuk variabel bebas kedua, dan diperoleh dengan menggunakan PAVA. 3. diperoleh

  Saat iterasi kedua, c. untuk variabel bebas pertama, dan diperoleh dengan menggunakan PAVA d. untuk variabel bebas kedua, dan diperoleh dengan menggunakan PAVA.

4. Dan seterusnya hingga memenuhi kriteria konvergensi, yaitu dengan .

  Estimasi fungsi penghalus pada kasus ini dilakukan dua kali, yaitu untuk yang diurutkan dan untuk yang diurutkan. Proses iterasi ketika variabel diurutkan dari kecil ke besar berhenti pada iterasi ke-2. Saat variabel yang diurutkan, proses iterasi juga berhenti pada iterasi ke-2. Hasil estimasi fungsi dan dapat dilihat pada Lampiran 2.

  Berdasarkan hasil estimasi untuk dan dalam Lampiran 2 diperoleh nilai MSE (Mean Square Error). MSE untuk variabel diurutkan, , dan MSE untuk variabel diurutkan, . Sehingga model yang terbaik diperoleh ketika variabel diurutkan. Oleh karena itu, variabel yang memberikan pengaruh terbesar terhadap kenaikan konsumsi gas adalah pergantian oli mesin mobil.

BAB V PENUTUP

5.1 Kesimpulan

  Berdasarkan pembahasan pada skripsi ini, diperoleh kesimpulan sebagai berikut.