Model Estimasi Regresi Nonparametrik Dengan Metode Kernel
Kakanda Misiani, S.Si selaku Staf Administrasi Program Studi Magister Matematika FMIPA USU yang telah banyak memberikan pelayanan yang baik kepada
penulis selama mengikuti perkuliahan.
Pihak Pemerintah Kabupaten Nias Barat terutama Bupati Nias Barat yang telah
memberikan Tugas Belajar sekaligus membiayai perkuliahan S-2 Matematika di
Universitas Sumatera Utara.
Seluruh rekan-rekan Mahasiswa Program Studi Magister Matematika FMIPA USU
tahun 2013 yang telah memberikan bantuan moril serta motivasi kepada penulis
dalam penulisan tesis ini.
Tak lupa penulis mengucapkan terima kasih sebesar-besarnya dan penghargaan setinggi-tingginya kepada Ibunda tercinta Yuhanis Waruwu dan Ayahanda
Abdul Afif Laia yang mencurahkan kasih sayang dan dukungan kepada penulis
serta Etek Hj. Nur Latifah Waruwu, S.H, M.H. Terima kasih juga buat Istri tercinta Wartini Zebua beserta anak-anak saya; Anita Rahmi Laia, Atmajaya Rahman
Laia, Berkat Gunawan Laia, Ahmad Syukur Laia dan Asni Rasyidah Laia yang telah memberikan semangat dan motivasi kepada penulis dalam penulisan tesis ini.
Terima kasih kepada sahabat-sahabatku serta rekan-rekan lainnya yang tidak dapat
disebutkan satu-persatu. Semoga Allah SWT memberikan balasan atas jasa-jasa
mereka yang telah diberikan kepada penulis.
Penulis menyadari bahwa tesis ini masih jauh dari sempurna, untuk itu
penulis mengharapkan kritik saran untuk penyempurnaan tesis ini. Semoga tesis
ini dapat bermanfaat bagi pembaca dan pihak-pihak lain yang memerlukannya.
Terima kasih.
Medan, Juni 2015
Penulis,
Arsyad Thalib Laia
v
Universitas Sumatera Utara
RIWAYAT HIDUP
Arsyad Thalib Laia dilahirkan di Awaai Kec. Sirombu pada tanggal 27
November 1980 dari pasangan Bapak Abdul Afif Laia & Ibu Yuhanis Waruwu.
Penulis lulus dari pendidikan Sekolah Dasar Inpres Tetesua pada tahun 1993, Sekolah Menengah Pertama (SMP) Negeri 1 Sirombu pada tahun 1996, Sekolah Menengah Atas (SMA) Negeri 1 Sirombu tahun 1999. Pada tahun 1999 memasuki
tingkat Perguruan Tinggi di IKIP Gunungsitoli Fakultas MIPA Jurusan (S-1) Matematika dan lulus tahun 2004.
Pada tahun 2004 penulis bekerja sebagai tenaga pengajar di SMA Negeri 1
Sirombu sampai sekarang. Pada tahun 2005 penulis menikah dengan Wartini Zebua
dan dianugerahi 5 (lima) orang anak yaitu; Anita Rahmi Laia, Atmajaya Rahman
Laia, Berkat Gunawan Laia, Ahmad Syukur Laia dan Asni Rasyidah Laia.
Pada tahun 2013, Penulis melanjutkan pendidikan pada Program Studi Magister (S-2) Matematika di Universitas Sumatera Utara dengan pembiayaan oleh
Pemerintah Kabupaten Nias Barat. Selain kegiatan akademik, penulis juga aktif
di berbagai kegiatan organisasi masyarakat Penulis dipercaya sebagai:
1. Ketua Komisi Pendidikan Majelis Ulama Indonesia (MUI) Kabupaten Nias
Barat dari tahun 2012 sampai sekarang.
2. Sekretaris Umum Lembaga Pengembangan Tilawatil Quran (LPTQ) Kabupaten Nias Barat dari tahun 2012 sampai sekarang.
3. Sekretaris Umum Al Jamiyatul Washliyah Kabupaten Nias Barat dari tahun
2012 sampai sekarang.
4. Sekretaris Umum Panitia Hari Besar Islam (PHBI) Kabupaten Nias Barat
dari tahun 2013 sampai sekarang.
vi
Universitas Sumatera Utara
DAFTAR ISI
Halaman
PERNYATAAN
i
ABSTRAK
ii
ABSTRACT
iii
KATA PENGANTAR
iv
RIWAYAT HIDUP
vi
DAFTAR ISI
vii
DAFTAR TABEL
ix
DAFTAR GAMBAR
x
BAB 1 PENDAHULUAN
1
1.1 Latar Belakang
1
1.2 Perumusan Masalah
3
1.3 Tujuan Penelitian
4
1.4 Manfaat Penelitian
4
BAB 2 ANALISIS REGRESI DAN METODE KERNEL
2.1 Model Analisis Regresi
5
5
2.1.1 Model regresi parametrik
5
2.1.2 Model regresi nonparametrik
7
2.2 Metode Kernel
11
2.3 Smoothing
13
2.4 Teknik Smoothing Kernel
14
vii
Universitas Sumatera Utara
2.5 Estimator Kernel
15
BAB 3 MODEL ESTIMASI REGRESI NONPARAMETRIK
3.1 Estimator
16
16
3.1.1 Estimasi titik
16
3.1.2 Estimasi interval
17
3.2 Nadaraya-Watson Estimator
17
3.2.1 Distribusi yang asimtotis
BAB 4 HASIL DAN PEMBAHASAN
19
20
4.1 Estimasi regresi nonparametrik
BAB 5 KESIMPULAN DAN SARAN
20
26
5.1 Kesimpulan
26
5.2 saran
26
DAFTAR PUSTAKA
27
viii
Universitas Sumatera Utara
DAFTAR TABEL
Nomor
Judul
Halaman
4.1
Statistika deskriptif sepeda motor
20
4.2
Nilai rata-rata, nilai tengah dan standar deviasi
21
ix
Universitas Sumatera Utara
DAFTAR GAMBAR
Nomor
Judul
Halaman
2.1
Scatterplot smoothing
11
4.1
Diagram pencar data sepeda motor
21
4.2
Diagram analisis estimasi regresi
22
4.3
Diagram pencar data sepeda motor
23
4.4
Model formula nonparametrik
24
x
Universitas Sumatera Utara
BAB 1
PENDAHULUAN
1.1 Latar Belakang
Tujuan dasar dari sebuah analisis regresi adalah untuk mengetahui bagaimana
respon sebuah peubah Y terhadap perubahan yang terjadi pada peubah lainnya
yaitu X. Hubungan antara X dan Y dapat dituliskan sebagai berikut:
Y = m(X) + ε
(1.1)
dimana m merupakan sebuah fungsi regresi dan ε merupakan nilai error yang
mengijinkan terjadinya deviasi dari hubungan yang murni secara deterministik
(Halim dan Bisono, 2006). Data yang akan diolah merupakan himpunan pasangan
terurut {(Xi , Yi )}, i = 1, . . . , n yang memuat informasi tentang fungsi m. Dari
data ini kemudian akan diperoleh suatu dugaan atau nilai estimasi dari fungsi m
tersebut.
Berdasarkan bentuk fungsinya, pendekatan yang digunakan untuk model estimasi fungsi regresi ada dua jenis, yaitu pendekatan parametrik dan nonparametrik.
Pendekatan parametrik dilakukan jika asumsi bentuk g diketahui, sedangkan pendekatan non parametrik menghubungkan variabel prediktor X terhadap variabel
respon Y tanpa diketahui model dari fungsi g. Dalam hal ini, diasumsikan bahwa fungsi g termuat dalam kelas fungsi mulus; artinya mempunyai turunan yang
kontinu atau dapat diintegralkan secara kuadrat.
Terdapat beberapa teknik smoothing dalam model regresi nonparametrik
antara lain histogram, estimator kernel, deret orthogonal, estimator spline, kNN, deret fourier, dan wavelet (Eubank, 1999). Regresi nonparametrik dengan
pendekatan kernel merupakan metode yang sering digunakan. Pendekatan kernel
memiliki bentuk yang lebih fleksibel dan perhitungan matematisnya mudah dikerjakan.
Ada beberapa jenis fungsi kernel, antara lain: kernel unif orm, triangle,
epanech − nikov, quartik, triweight, Gaussian, dan cosinus. Dalam regresi kernel pemilihan parameter pemulus (bandwidth) jauh lebih penting dibandingkan
1
Universitas Sumatera Utara
2
dengan memilih fungsi kernel. Nilai parameter bandwidth yang kecil akan memberikan grafik yang kurang mulus namun memiliki bias yang kecil. Sebaliknya,
nilai parameter bandwidth yang besar akan memberikan grafik yang sangat mulus
tetapi memiliki bias yang besar.
Regresi nonparametrik merupakan suatu cabang ilmu statistik yang mempelajari prosedur-prosedur inferensial dengan kesahihan yang tidak bergantung
kepada asumsi-asumsi yang kaku, analisis yang tidak menggunakan parameterparameter dan tidak mensyaratkan data harus berdistribusi normal dan sebagainya.
Regresi nonparametrik digunakan untuk menganalisis data yang berskala nominal
dan ordinal dari populasi yang bebas distribusi.
Regresi nonparametrik juga dikenal sebagai teknik pemulusan scatterplot.
Teknik ini merupakan salah satu yang biasa diandalkan untuk mendapatkan bentuk
kurva yang mulus (smooth) terhadap titik-titik acak yang dibentuk oleh sumbu y
maupun x. Asumsi dasar pada regresi nonparametrik ini adalah adanya kehadiran
fungsi m(·) yang berseuaian dengan variabel respon y dan variabel penduga x.
Tujuan dari analisis regresi nonparametrik ini adalah untuk menemukan sebuah pola yang tepat pada suatu data tanpa melibatkan asumsi tentang bagaimana
bentuk dari fungsi regresi yang tidak diketahui tersebut. Dalam penelitian ini,
penulis akan menggunakan metode kernel untuk menghadirkan estimasi NadarayaWatson (Nadaraya, Watson (1964)).
Hubungan antara Y dengan X pada sampel berukuran n data pengamatan
(x1, y1 ), . . . (xn , yn ) dapat dinyatakan dengan model regresi sebagai berikut :
yi = m(xi) + σεi , i = 1, . . . , n.
(1.2)
dimana ε1, . . . , εn merupakan nilai error acak dengan E(εi ) = 0 dan V (εi) = 1.
Pasangan (xi , yi ) merupakan sebuah barisan dimana x1 < . . . < xn dan ∀x ∈ [0, 1],
(Wand, 1995). E(Y |X = xi ) = m(x) dan V (Y |X = xi) = σ 2∀i. Oleh sebabnya,
model tersebut dikatakan bersifat homoskeditas.
Universitas Sumatera Utara
3
Pertanyaan yang sering muncul adalah; bagaimana cara memodelkan estimasi regresi nonparametrik untuk mendapatkan rumus estimasi nadaraya watson.
Untuk menjawab pertanyaan tersebut, penulis akan menjelaskan suatu prosedur
yang dapat digunakan adalah metode kernel.
Metode kernel adalah teknik statistik nonparametrik untuk mengestimasi nilai E(Y |X) = m(x) atau y = m(x) dalam suatu variabel. Metode ini banyak
digunakan pada ilmu statistik terapan seperti; proses kendali pada industi, uji coba klinis, uji coba kehidupan dan lain sebagainya. Metode ini sangat cocok dan
sangat mudah untuk dilakukan bahkan pada setiap tahapan-tahapannya. Metode
kernel memiliki tahapan yang lebih fleksibel, perhitungan matematisnya mudah
disesuaikan sehingga diperoleh hasil yang lebih baik dan akurat. Terlebih lagi,
metode ini memungkinkan peneliti data membuat keputusan berdasarkan kemungkinan terkecil pada ukuran sampel yang ada.
Dengan demikian sangatlah tepat apabila dalam hal ini diberlakukan model
estimasi metode kernel pada regresi nonparametrik. Jadi, penulis mengambil judul
Model estimasi regresi nonparametrik dengan metode kernel.
1.2 Perumusan Masalah
Sesuai dengan permasalahan dalam hal ini melihat hubungan antara dua variabel tanpa bergantung pada asumsi baku sangatlah tepat model estimasi regresi
nonparametrik dengan menggunakan metode kernel untuk mendapatkan estimasi
Nadaraya Watson. Jadi dengan demikian maka masalah yang akan dibahas dalam penelitian ini adalah bagaimana model estimasi regresi nonparametrik dengan
metode kernel.
Universitas Sumatera Utara
4
1.3 Tujuan Penelitian
Ada beberapa tujuan dalam penelitian ini adalah:
1. Menerapkan analisis hubungan non-linear antara dua variabel dengan menggunakan ukuran sampel terkecil yang memungkinkan;
2. Menghadirkan pengenalan singkat akan estimasi regresi nonparametrik;
3. Uraian metode kernel untuk mendapatkan rumusan Nadaraya-Watson dalam
model estimasi regresi nonparametrik.
1.4 Manfaat Penelitian
Penelitian ini diharapkan dapat memberikan pemahaman tentang model estimasi
regresi nonparametrik dengan metode kernel untuk serta bisa menjadi acuan bagi
penelitian yang relevan atau lebih kompleks lagi.
Universitas Sumatera Utara
BAB 2
ANALISIS REGRESI DAN METODE KERNEL
Istilah regresi telah umum dikenal oleh berbagai pihak. Tak jarang juga persoalan
ini menjadi kajian yang menarik untuk dibahas. Pada bab ini akan dibahas tentang
model regresi nonparametrik beserta sifatnya. Pemaparan ini tentunya diharapkan
agar mempermudah dalam mengkaji bab-bab berikutnya serta untuk mendukung
hasil penelitian ini.
2.1 Model Analisis Regresi
Para peneliti sering tertarik mengkaji hubungan antara suatu variabel dengan variabel yang lainnya. Sebagai contoh, ’apakah merokok menyebabkan kanker paruparu?. Sebuah studi yang dilakukan oleh pemerintahan Inggris. Penelitian tersebut
mengambil data dari 25 kelompok kerja yang terdiri dari ribuan responden pria dengan usia yang sama. Variabel pertama menunjukkan jumlah rata-rata rokok yang
dihisap per hari pada setiap jenis pekerjaan. Variabel yang lainnya adalah jumlah
rata-rata angka kematian. Untuk mengetahui hubungan antara angka kematian
dan jumlah rokok yang dihisap, perlu dilakukan kajian terhadap model analisis
regresi.
Analisis regresi merupakan metode statistika yang biasa digunakan untuk
mengetahui hubungan antara satu atau lebih variabel penduga yang biasa dinotasikan dengan y dan variabel kontrol yang biasa dinotasikan dengan variabel x.
Analisis ini biasa dipergunakan untuk menyelesaikan persoalan seperti yang telah
dijelaskan sebelumnya.
Di dalam ilmu statistika, pendekatan analisis yang biasa digunakan untuk
mengestimasi fungsi regresi ada dua jenis, yaitu parametrik dan nonparametrik.
Untuk lebih jelaskan perhatikan penjelasan pada subbab berikut.
2.1.1 Model regresi parametrik
Dalam ilmu statistika, analisis regresi merupakan suatu teknik untuk memodelkan
hubungan antara variabel terikat (depentent variable) dengan satu atau bebera5
Universitas Sumatera Utara
6
pa variabel bebas (independent variable). Dalam regresi sendiri, variabel terikat
dimodelkan sebagai sebuah fungsi atas variabel bebas, nilai parameter yang berkaitan, serta nilai eror yang merepresentasikan variasi dalam variabel terikat tersebut.
Model regresi yang demikian disebut model regresi parametrik. Model regresi yang
demikian dapat ditulis seperti pada persamaan (2.1) berikut ini:
yi = f(β, Xi′ ) + εi
(2.1)
′
dimana β = (β1, . . . , βp) merupakan sebuah vektor parameter yang akan diestimasi, sementara Xi′ = (x1 , . . . , xk ) merupakan sebuah vektor penduga ke-i dari n
data pengamatan. Nilai eror εi diasumsikan berdistribusi normal dengan rata-rata
0 dan konstanta varians σ 2 (Fox, (2002)).
Gujarati (2006) mendefinisikan analisis regresi sebagai kajian terhadap hubungan satu variabel terikat (variabel yang diterangkan) dengan satu atau lebih
variabel bebas (variabel yang menerangkan). Melalui analisis regresi ini, hubungan
antar variabel dapat dengan mudah diketahui. Model regresi sederhana dapat dinyatakan sebagai berikut:
Yi = β0 + β1 X1 + εi , i = 1, , 2, . . . , n
(2.2)
dengan:
Yi
: Variabel tidak bebas pada pengamatan ke-i
Xi
β0 dan β1
: Variabel bebas pada pengamatan ke-i
: Parameter-parameter yang tidak diketahui
εi
: Nilai error (galat/kesalahan)
Pada kasus model analisis regresi parametrik, peneliti biasanya menggu-
nakan metode kuadrat terkecil untuk menduga parameter-parameter regresi dengan
sampel yang teramati dan melandaskan kesimpulan-kesimpulan yang menyangkut
parameter-parameter pada beberapa asumsi yang harus dipenuhi.
Salah satu asumsi yang harus dipenuhi adalah kenormalan galat, yaitu bahwa
galat berditribusi normal dengan rata-rata nol dan simpangan baku tertentu.
Apabila asumsi kenormalan tidak terpenuhi, analisis alternatif yang dapat
digunakan adalah dengan metode regresi nonparametrik. Hal ini dikarenakan oleh
Universitas Sumatera Utara
7
statistik nonparametrik tidak menuntut terpenuhi banyak asumsi, misalnya data
yang akan dianalisis harus berdistribusi normal, dan sebagainya.
2.1.2 Model regresi nonparametrik
Berbeda dengan model regresi yang dijelaskan sebelumnya, untuk kasus regresi
nonparametrik, model regresinya dimodelkan tanpa adanya suatu variabel yang
dianggap sebagai parameter.
Statistik nonparametrik disebut juga statistik bebas sebaran. Statistik nonparametrik tidak mensyaratkan bentuk sebaran parameter populasi. Statistik nonparametrik dapat digunakan pada data yang memiliki sebaran normal atau tidak.
Statistik nonparametrik biasanya digunakan untuk melakukan analisis pada data
nominal atau ordinal.
Metode statistik nonparametrik merupakan metode statistik yang dapat digunakan dengan mengabaikan asumsi-asumsi yang melandasi penggunaan metode
statistik parametrik, terutama yang berkaitan dengan distribusi normal. Nama
lain yang sering digunakan untuk statistik nonparametrik adalah statistik bebas
distribusi.
Analisa regresi adalah analisis statistik yang mempelajari bagaimana membangun sebuah model fungsional dari data untuk dapat menjelaskan ataupun meramalkan suatu fenomena alami atas dasar fenomena yang lain. Analisa regresi
merupakan salah satu teknik statistik yang digunakan secara luas dalam ilmu
pengetahuan terapan. Regresi di samping digunakan untuk mengetahui bentuk
hubungan antar peubah regresi, juga dapat dipergunakan untuk peramalan.
Dalam banyak hal, pengamatan-pengamatan yang akan dikaji tidak selalu
memenuhi asumsi-asumsi yang mendasari uji-uji parametrik sehingga kerap kali
dibutuhkan teknik-teknik inferensial dengan validitas yang tidak bergantung pada
asumsi-asumsi yang kaku. Dalam hal ini, teknik-teknik dalam regresi nonparametrik memenuhi kebutuhan ini karena tetap valid
walaupun tidak diperlukan pemenuhan asumsi kenormalan galat dan hanya
berlandaskan asumsi- asumsi yang sangat umum. Penggunaan regresi nonparametrik dilandasi pada asumsi:
Universitas Sumatera Utara
8
1. Contoh yang diambil bersifat acak dan kontinu;
2. Regresi (Y |X) bersifat linier;
3. Semua nilai Xi saling bebas;
4. Data diasumsikan tidak berdistribusi normal.
Perbandingan statistik nonparametrik dan statistik parametrik. Kekurangan
dan kelebihan setiap pemilihan prosedur pengujian data, apakah itu menggunakan nonparametrik atau parametrik memiliki kelebihan dan kekurangan masingmasing. Berikut adalah kelebihan dan kekurangan masing-masing prosedur:
Kelebihan statistik nonparametrik dibandingkan dengan statistik parametrik
ialah:
1. Asumsi yang digunakan minimum sehingga mengurangi kesalahan penggunaan;
2. Perhitungan dapat dilakukan dengan cepat dan mudah;
3. Konsep dan metode nonparametrik mudah dipahami bahkan oleh seseorang
dengan kemampuan matematik yang minim;
4. Dapat diterapkan pada skala peubah kualitatif (nominal dan ordinal).
Kekurangan statistik nonparametrik dibandingkan dengan statistik parametrik
ialah:
1. Bila digunakan pada data yang dapat diuji menggunakan statistika parametrik
maka hasil pengujian menggunakan statistik nonparametrik menyebabkan
pemborosan informasi;
2. Pekerjaan hitung-menghitung (aritmetik) karena memerlukan ketelitian terkadang menjemukan.
Universitas Sumatera Utara
9
Prosedur nonparametrik digunakan sebaiknya:
1. Bila hipotesis yang diuji tidak melibatkan suatu parameter populasi;
2. Bila data telah diukur menggunakan skala nominal atau ordinal;
3. Bila asumsi-asumsi yang diperlukan pada suatu prosedur pengujian parametrik
tidak terpenuhi;
4. Bila penghitungan harus dilakukan secara manual.
Menurut jenisnya data terdiri dari data kualitatif dan kuantitatif. Data kuantitatif adalah data yang diukur dalam suatu skala numerik (angka). Data kuantitatif dapat dibedakan menjadi:
1. Data interval yaitu data yang diukur dengan jarak diantara dua titik pada
skala yang sudah diketahui;
2. Data rasio yaitu data yang diukur dengan suatu proporsi.
Data kualitatif adalah data yang tidak dapat diukur dalam skala numerik.
Namun dalam statistik semua data harus dalam bentuk angka, maka data kualitatif umumnya dikuantifikasi agar dapat diproses. Kuantifikasi dapat dilakukan
dengan mengklasifikasi data dalam bentuk kategori. Data kualitatif dapat dibedaka
menjadi:
1. Data nominal yaitu data yang dinyatakan dalam bentuk kategori;
2. Data ordinal yaitu data yang dinyatakan dalam bentuk kategori, namun posisi
data tidak sama derajatnya karena dinyatakan dalam skala peringkat.
Secara umum, model regresi nonparametrik dapat ditulis dengan cara yang
sama, hanya saja fungsi f tidak memiliki nilai parameter.
yi = f(Xi′ ) + εi
(2.3)
= f(xi1 , xi2, . . . , xik ) + εi
Universitas Sumatera Utara
10
Analisis regresi adalah analisis statistik yang mempelajari bagaimana membangun sebuah model fungsional dari data untuk dapat menjelaskan ataupun meramalkan suatu fenomena alami atas dasar fenomena yang lain. Analisa regresi
merupakan salah satu teknik statistik yang digunakan secara luas dalam ilmu
pengetahuan terapan. Regresi di samping digunakan untuk mengetahui bentuk hubungan antar peubah regresi, juga dapat dipergunakan untuk peramalan. Regresi
nonparametrik merupakan suatu teknik analisis data dalam statistika yang dapat menjelaskan hubungan antara variabel prediktor dengan variabel respon yang
tidak diketahui bentuk fungsinya karena sebelumnya tidak ada informasi tentang
bentuk fungsi tersebut dan hanya diasumsikan mulus (smooth) dalam arti termuat
dalam suatu ruang fungsi tertentu sehingga regresi nonparametrik sangat mempertahankan fleksibilitasnya. Dalam banyak hal, pengamatan-pengamatan yang akan
dikaji tidak selalu memenuhi asumsi-asumsi yang mendasari uji-uji parametrik sehingga kerap kali dibutuhkan teknik-teknik inferensial dengan validitas yang tidak
bergantung pada asumsi-asumsi yang kaku. Dalam hal ini, teknik-teknik dalam
regresi nonparametrik memenuhi karena tetap valid walaupun tidak diperlukan
pemenuhan asumsi kenormalan galat dan hanya berlandaskan asumsi-asumsi yang
sangat umum. Dalam regresi nonparametrik bentuk kurva juga tidak diketahui,
kurva regresi hanya diasumsikan termuat dalam suatu ruang fungsi yang berdimensi tak hingga dan merupakan fungsi mulus (smooth)
Tujuan dari persoalan regresi nonparametrik adalah untuk mengestimasi fungsi
regresi f secara langsung, bukannya untuk mengestimasi parameter seperti yang
dijelaskan pada persoalan regresi nonlinier sebelumnya. Banyak metode regresi
nonparametrik secara implisit mengasumsikan bahwa fungsi f merupakan fungsi
yang kontinu dan ’mulus’/smooth (Nason dan Silverman, (1994, 2000). Sama
halnya dengan persoalan regresi nonlinier parametrik, pada persoalan regresi nonparametrik juga mengasumsikan bahwa εi ∼ N ID(0, σ 2 ).
Suatu kasus khusus yang penting pada model umumnya adalah bentuk regresi
nonparamtrik sederhana, dimana hanya ada satu prediktor saja.
yi = f(xi ) + εi
(2.4)
Universitas Sumatera Utara
11
Regresi nonparametrik sederhana yang ditunjukkan oleh persamaan (2.4) juga dikenal dengan ’teknik pemulusan terpencar’. Teknik ini merupakan suatu
aplikasi yang sangat penting untuk menemukan kurva yang mulus pada titik-titik
yang terpencar (scatterplot). Gambar 2.1 menunjukkan sebuah teknik pemulusan
pada titik-titik terpencar seperti yang telah dijelaskan.
Gambar 2.1 Scatterplot smoothing
Dikarenakan sulitnya untuk mendapatkan model umum regresi nonparametrik saat terdapat banyak ’penduga’, maka ada beberapa model yang dikembangkan
untuk menghadapi situasi seperti ini. Salah satu modelnya dinamakan model regresi aditif seperti pada persamaan (2.5) berikut ini.
yi = α + f1(xi1 ) + f2 (xi2) + . . . + fk (xik ) + εi
(2.5)
dimana fungsi regresi parsial fj (.) diasumsikan mulus dan terestimasi dari data
yang ada. Model ini pada dasarnya lebih terbatas bila dibandingkan dengan model
regresi nonparametrik, akan tetapi masih lebih baik dibandingkan model regresi
linier.
2.2 Metode Kernel
Bilamana terdapat data yang sangat banyak dimana X = xi , maka cara mengatasinya adalah dengan mencari nilai rata-rata setiap yi pada data tersebut. Dan juga
karena X berdistribusi kontinu, maka tidak perlu dilakukan pengamatan berulang
pada data dengan nilai yang sama.
Universitas Sumatera Utara
12
Solusi dari persoalan tersebut adalah dengan memperhatikan ketetanggaan
xi , untuk itu perlu dilakukan sejumlah pengamatan di ketetanggan tersebut. Trik
yang sangat jelas adalah dengan cara melakukan estimasi bias serta estimasi varians.
Andai dilakukan pengamatan pada sejumlah besar data X. Misalkan x±h untuk sebarang bandwidth h > 0. Maka estimator Nadaraya-Watson (1964) m
ˆ N W (x)
yang ditunjukkan pada persamaan (3.1) merupakan rata-rata nilai yi untuk pengamatan i sedemikian sehingga Xi berada pada ketetanggaannya.
Pn
K(|x − xi| ≤ h)yi
m
ˆ N W (x) = Pi=1
n
K(|x − xi| ≤ h)
Pni=1
i
)
yi K( x−x
h
= Pi=1
n
x−xi
i=1 K( h )
(2.6)
dengan K(u) merupakan Kernel.
Pada dasarnya, fungsi regresi dapat dituliskan seperti pada persamaan (3.2)
berikut.
m(x) =
dimana,
R
yf(x, y)dy
f(x)
(2.7)
n
X
1
y − yi
−1
f(x, y) =
K H (x − xi) K
n|H|hy i=1
hy
dan hy merupakan bandwidth untuk pemulusan data y.
Dengan demikian,
f(x) =
Z
f(x, y)dy
Z
n
X
y − yi
1
−1
dy
K(H (x − xi )) K
=
n|H|hy i=1
hy
n
1 X
=
K(H −1 (x − xi ))
n|H| i=1
(2.8)
Universitas Sumatera Utara
13
dan
Z
Z
n
X
1
y − yi
−1
dy
K(H (x − xi )) yK
yf(x, y)dy =
n|H|hy i=1
hy
n
1 X
=
K(H −1 (x − xi ))yi
n|H| i=1
(2.9)
Kemudian lakukan substitusi persamaan (3.3) dan (3.4) ke persamaan (3.2),
maka diperoleh:
m(x) =
=
Pn
1
−1
(x − xi ))yi
i=1 K(H
n|H|
P
n
1
−1 (x − x ))
i
i=1 K(H
n|H|
Pn
i
)
yi K( x−x
h
Pi=1
n
x−xi
i=1 K( h )
2.3 Smoothing
Tujuan dari smoothing adalah untuk membuang variabilitas dari data yang tidak
memiliki efek sehingga ciri-ciri dari data akan tampak lebih jelas. Smoothing
sendiri telah menjadi sinonim dengan metode-metode yang biasa digunakan untuk
mengestimasi fungsi-fungsi yang ada pada regresi nonparametrik. Beberapa metode smoothing dalam berbagai konteks dapat dijumpai di Priestly (1981), Silverman
(1986), Eubank (1988), Haerdle (1990) dan Hart (1997).
Teknik smoothing yang akan digunakan pada penelitian ini adalah teknik
smoothing Kernel. Teknik ini merupakan pengembangan dari teknik smoothing
menggunakan metode kernel.
Metode Kernel merupakan teknik smoothing yang paling sederhana yang
biasa digunakan pada persoalan regresi nonparametrik. Misalkan fungsi m(x) akan
diestimasi untuk beberapa x ∈ [0, 1]. Jika m adalah fungsi kontinu, maka nilainilai fungsi pada xi yang berdekatan dengan x semestinya akan cukup dekat dengan
m(x). Hal itu memberikan usulan bahwa merata-ratakan nilai Yi yang bersesuaian
dengan xi yang dekat dengan x akan menghasilkan estimator tak bias untuk fungsi
m(x).
Universitas Sumatera Utara
14
Sementara itu, pada teknik smoothing Kernel secara sederhana tersebut digantikan dengan jumlahan berbobot. Biasanya bobot yang lebih besar diberikan
pada Yi yang nilai xi nya mendekati titik estimasi x.
2.4 Teknik Smoothing Kernel
Teknik smoothing Kernel sering digunakan pada persoalan regresi nonparametrik.
Sesuai dengan namanya, teknik ini menggunakan pendekatan Kernel. Pendekatan
Kernel memiliki bentuk yang lebih fleksibel dan perhitungan matematisnya mudah
dikerjakan (Wand, 1995).
Alasan lain dari penggunaan teknik ini dikarenakan pada dasarnya fungsi
Kernel (Wand, 1995) memenuhi kondisi sebagai berikut:
(i) K(x)dx = 1
(ii) xK(x)dx = 0
(iii) x2K(x)dx = k 6= 0
Penduga Kernel didefinisikan seperti pada persamaan (4.1) berikut ini.
n
f(x; h) =
1X
Kh (x − Xi )
n i=1
(2.10)
Terlihat bahwa f(x; h) bergantung pada fungsi Kernel K dan parameter h
yang disebut bandwidth. Bentuk bobot Kernel ditentukan oleh fungsi Kernel K,
sedangkan ukuran bobotnya ditentukan oleh parameter pemulus h.
Ada beberapa fungsi Kernel (Wand, 1995), antara lain:
1.
Uniform
1
I
2 |u|≤1
2.
Triangle
(1 − |u|)I|u|≤1
3.
Epanechnikov
4.
Quartic
5.
Triweight
6.
Gaussian
3
(1 − u2)I|u|≤1
4
15
(1 − u2)2 I|u|≤1
16
35
(1 − u2)3 I|u|≤1
22
3
(1 − u2)I|u|≤1
4
7.
Cosinus
π
cos
4
π
u
2
I|u|≤1
Universitas Sumatera Utara
15
Untuk mengestimasi fungsi regresi m(x) pada model regresi nonparametrik,
Nadaraya dan Watson pada tahun 1964 mendefiniskan estimator Kernel sehingga
disebut estimator Nadaraya-Watson (Hardle, 1994). Penjelasan tentang estimator
Nadaraya-Watson akan dijelaskan pada Bab selanjutnya.
2.5 Estimator Kernel .
Estimator kernel merupakan pengembangan dari estimator histogram. Suatu
histogram disusun dengan meletakkan titik-titik data ke dalam suatu bin atau kelas. Setiap bin dinyatakan secara grafik oleh segiempat dengan lebar sama dan tinggi proposional dengan banyaknya titik-titik data yang terletak dalam bin tersebut.
Estimator kernel merupakan estimator linier yang sama dengan estimator lainnya,
perbedaannya hanya karena metode kernel lebih khusus dalam penggunaan metode
bandwith. Beberapa kelebihan estimator kernel adalah fleksibel, bentuk matematisnya mudah, dan dapat mencapai tingkat kekonvergenan yang relatif cepat
Universitas Sumatera Utara
penulis selama mengikuti perkuliahan.
Pihak Pemerintah Kabupaten Nias Barat terutama Bupati Nias Barat yang telah
memberikan Tugas Belajar sekaligus membiayai perkuliahan S-2 Matematika di
Universitas Sumatera Utara.
Seluruh rekan-rekan Mahasiswa Program Studi Magister Matematika FMIPA USU
tahun 2013 yang telah memberikan bantuan moril serta motivasi kepada penulis
dalam penulisan tesis ini.
Tak lupa penulis mengucapkan terima kasih sebesar-besarnya dan penghargaan setinggi-tingginya kepada Ibunda tercinta Yuhanis Waruwu dan Ayahanda
Abdul Afif Laia yang mencurahkan kasih sayang dan dukungan kepada penulis
serta Etek Hj. Nur Latifah Waruwu, S.H, M.H. Terima kasih juga buat Istri tercinta Wartini Zebua beserta anak-anak saya; Anita Rahmi Laia, Atmajaya Rahman
Laia, Berkat Gunawan Laia, Ahmad Syukur Laia dan Asni Rasyidah Laia yang telah memberikan semangat dan motivasi kepada penulis dalam penulisan tesis ini.
Terima kasih kepada sahabat-sahabatku serta rekan-rekan lainnya yang tidak dapat
disebutkan satu-persatu. Semoga Allah SWT memberikan balasan atas jasa-jasa
mereka yang telah diberikan kepada penulis.
Penulis menyadari bahwa tesis ini masih jauh dari sempurna, untuk itu
penulis mengharapkan kritik saran untuk penyempurnaan tesis ini. Semoga tesis
ini dapat bermanfaat bagi pembaca dan pihak-pihak lain yang memerlukannya.
Terima kasih.
Medan, Juni 2015
Penulis,
Arsyad Thalib Laia
v
Universitas Sumatera Utara
RIWAYAT HIDUP
Arsyad Thalib Laia dilahirkan di Awaai Kec. Sirombu pada tanggal 27
November 1980 dari pasangan Bapak Abdul Afif Laia & Ibu Yuhanis Waruwu.
Penulis lulus dari pendidikan Sekolah Dasar Inpres Tetesua pada tahun 1993, Sekolah Menengah Pertama (SMP) Negeri 1 Sirombu pada tahun 1996, Sekolah Menengah Atas (SMA) Negeri 1 Sirombu tahun 1999. Pada tahun 1999 memasuki
tingkat Perguruan Tinggi di IKIP Gunungsitoli Fakultas MIPA Jurusan (S-1) Matematika dan lulus tahun 2004.
Pada tahun 2004 penulis bekerja sebagai tenaga pengajar di SMA Negeri 1
Sirombu sampai sekarang. Pada tahun 2005 penulis menikah dengan Wartini Zebua
dan dianugerahi 5 (lima) orang anak yaitu; Anita Rahmi Laia, Atmajaya Rahman
Laia, Berkat Gunawan Laia, Ahmad Syukur Laia dan Asni Rasyidah Laia.
Pada tahun 2013, Penulis melanjutkan pendidikan pada Program Studi Magister (S-2) Matematika di Universitas Sumatera Utara dengan pembiayaan oleh
Pemerintah Kabupaten Nias Barat. Selain kegiatan akademik, penulis juga aktif
di berbagai kegiatan organisasi masyarakat Penulis dipercaya sebagai:
1. Ketua Komisi Pendidikan Majelis Ulama Indonesia (MUI) Kabupaten Nias
Barat dari tahun 2012 sampai sekarang.
2. Sekretaris Umum Lembaga Pengembangan Tilawatil Quran (LPTQ) Kabupaten Nias Barat dari tahun 2012 sampai sekarang.
3. Sekretaris Umum Al Jamiyatul Washliyah Kabupaten Nias Barat dari tahun
2012 sampai sekarang.
4. Sekretaris Umum Panitia Hari Besar Islam (PHBI) Kabupaten Nias Barat
dari tahun 2013 sampai sekarang.
vi
Universitas Sumatera Utara
DAFTAR ISI
Halaman
PERNYATAAN
i
ABSTRAK
ii
ABSTRACT
iii
KATA PENGANTAR
iv
RIWAYAT HIDUP
vi
DAFTAR ISI
vii
DAFTAR TABEL
ix
DAFTAR GAMBAR
x
BAB 1 PENDAHULUAN
1
1.1 Latar Belakang
1
1.2 Perumusan Masalah
3
1.3 Tujuan Penelitian
4
1.4 Manfaat Penelitian
4
BAB 2 ANALISIS REGRESI DAN METODE KERNEL
2.1 Model Analisis Regresi
5
5
2.1.1 Model regresi parametrik
5
2.1.2 Model regresi nonparametrik
7
2.2 Metode Kernel
11
2.3 Smoothing
13
2.4 Teknik Smoothing Kernel
14
vii
Universitas Sumatera Utara
2.5 Estimator Kernel
15
BAB 3 MODEL ESTIMASI REGRESI NONPARAMETRIK
3.1 Estimator
16
16
3.1.1 Estimasi titik
16
3.1.2 Estimasi interval
17
3.2 Nadaraya-Watson Estimator
17
3.2.1 Distribusi yang asimtotis
BAB 4 HASIL DAN PEMBAHASAN
19
20
4.1 Estimasi regresi nonparametrik
BAB 5 KESIMPULAN DAN SARAN
20
26
5.1 Kesimpulan
26
5.2 saran
26
DAFTAR PUSTAKA
27
viii
Universitas Sumatera Utara
DAFTAR TABEL
Nomor
Judul
Halaman
4.1
Statistika deskriptif sepeda motor
20
4.2
Nilai rata-rata, nilai tengah dan standar deviasi
21
ix
Universitas Sumatera Utara
DAFTAR GAMBAR
Nomor
Judul
Halaman
2.1
Scatterplot smoothing
11
4.1
Diagram pencar data sepeda motor
21
4.2
Diagram analisis estimasi regresi
22
4.3
Diagram pencar data sepeda motor
23
4.4
Model formula nonparametrik
24
x
Universitas Sumatera Utara
BAB 1
PENDAHULUAN
1.1 Latar Belakang
Tujuan dasar dari sebuah analisis regresi adalah untuk mengetahui bagaimana
respon sebuah peubah Y terhadap perubahan yang terjadi pada peubah lainnya
yaitu X. Hubungan antara X dan Y dapat dituliskan sebagai berikut:
Y = m(X) + ε
(1.1)
dimana m merupakan sebuah fungsi regresi dan ε merupakan nilai error yang
mengijinkan terjadinya deviasi dari hubungan yang murni secara deterministik
(Halim dan Bisono, 2006). Data yang akan diolah merupakan himpunan pasangan
terurut {(Xi , Yi )}, i = 1, . . . , n yang memuat informasi tentang fungsi m. Dari
data ini kemudian akan diperoleh suatu dugaan atau nilai estimasi dari fungsi m
tersebut.
Berdasarkan bentuk fungsinya, pendekatan yang digunakan untuk model estimasi fungsi regresi ada dua jenis, yaitu pendekatan parametrik dan nonparametrik.
Pendekatan parametrik dilakukan jika asumsi bentuk g diketahui, sedangkan pendekatan non parametrik menghubungkan variabel prediktor X terhadap variabel
respon Y tanpa diketahui model dari fungsi g. Dalam hal ini, diasumsikan bahwa fungsi g termuat dalam kelas fungsi mulus; artinya mempunyai turunan yang
kontinu atau dapat diintegralkan secara kuadrat.
Terdapat beberapa teknik smoothing dalam model regresi nonparametrik
antara lain histogram, estimator kernel, deret orthogonal, estimator spline, kNN, deret fourier, dan wavelet (Eubank, 1999). Regresi nonparametrik dengan
pendekatan kernel merupakan metode yang sering digunakan. Pendekatan kernel
memiliki bentuk yang lebih fleksibel dan perhitungan matematisnya mudah dikerjakan.
Ada beberapa jenis fungsi kernel, antara lain: kernel unif orm, triangle,
epanech − nikov, quartik, triweight, Gaussian, dan cosinus. Dalam regresi kernel pemilihan parameter pemulus (bandwidth) jauh lebih penting dibandingkan
1
Universitas Sumatera Utara
2
dengan memilih fungsi kernel. Nilai parameter bandwidth yang kecil akan memberikan grafik yang kurang mulus namun memiliki bias yang kecil. Sebaliknya,
nilai parameter bandwidth yang besar akan memberikan grafik yang sangat mulus
tetapi memiliki bias yang besar.
Regresi nonparametrik merupakan suatu cabang ilmu statistik yang mempelajari prosedur-prosedur inferensial dengan kesahihan yang tidak bergantung
kepada asumsi-asumsi yang kaku, analisis yang tidak menggunakan parameterparameter dan tidak mensyaratkan data harus berdistribusi normal dan sebagainya.
Regresi nonparametrik digunakan untuk menganalisis data yang berskala nominal
dan ordinal dari populasi yang bebas distribusi.
Regresi nonparametrik juga dikenal sebagai teknik pemulusan scatterplot.
Teknik ini merupakan salah satu yang biasa diandalkan untuk mendapatkan bentuk
kurva yang mulus (smooth) terhadap titik-titik acak yang dibentuk oleh sumbu y
maupun x. Asumsi dasar pada regresi nonparametrik ini adalah adanya kehadiran
fungsi m(·) yang berseuaian dengan variabel respon y dan variabel penduga x.
Tujuan dari analisis regresi nonparametrik ini adalah untuk menemukan sebuah pola yang tepat pada suatu data tanpa melibatkan asumsi tentang bagaimana
bentuk dari fungsi regresi yang tidak diketahui tersebut. Dalam penelitian ini,
penulis akan menggunakan metode kernel untuk menghadirkan estimasi NadarayaWatson (Nadaraya, Watson (1964)).
Hubungan antara Y dengan X pada sampel berukuran n data pengamatan
(x1, y1 ), . . . (xn , yn ) dapat dinyatakan dengan model regresi sebagai berikut :
yi = m(xi) + σεi , i = 1, . . . , n.
(1.2)
dimana ε1, . . . , εn merupakan nilai error acak dengan E(εi ) = 0 dan V (εi) = 1.
Pasangan (xi , yi ) merupakan sebuah barisan dimana x1 < . . . < xn dan ∀x ∈ [0, 1],
(Wand, 1995). E(Y |X = xi ) = m(x) dan V (Y |X = xi) = σ 2∀i. Oleh sebabnya,
model tersebut dikatakan bersifat homoskeditas.
Universitas Sumatera Utara
3
Pertanyaan yang sering muncul adalah; bagaimana cara memodelkan estimasi regresi nonparametrik untuk mendapatkan rumus estimasi nadaraya watson.
Untuk menjawab pertanyaan tersebut, penulis akan menjelaskan suatu prosedur
yang dapat digunakan adalah metode kernel.
Metode kernel adalah teknik statistik nonparametrik untuk mengestimasi nilai E(Y |X) = m(x) atau y = m(x) dalam suatu variabel. Metode ini banyak
digunakan pada ilmu statistik terapan seperti; proses kendali pada industi, uji coba klinis, uji coba kehidupan dan lain sebagainya. Metode ini sangat cocok dan
sangat mudah untuk dilakukan bahkan pada setiap tahapan-tahapannya. Metode
kernel memiliki tahapan yang lebih fleksibel, perhitungan matematisnya mudah
disesuaikan sehingga diperoleh hasil yang lebih baik dan akurat. Terlebih lagi,
metode ini memungkinkan peneliti data membuat keputusan berdasarkan kemungkinan terkecil pada ukuran sampel yang ada.
Dengan demikian sangatlah tepat apabila dalam hal ini diberlakukan model
estimasi metode kernel pada regresi nonparametrik. Jadi, penulis mengambil judul
Model estimasi regresi nonparametrik dengan metode kernel.
1.2 Perumusan Masalah
Sesuai dengan permasalahan dalam hal ini melihat hubungan antara dua variabel tanpa bergantung pada asumsi baku sangatlah tepat model estimasi regresi
nonparametrik dengan menggunakan metode kernel untuk mendapatkan estimasi
Nadaraya Watson. Jadi dengan demikian maka masalah yang akan dibahas dalam penelitian ini adalah bagaimana model estimasi regresi nonparametrik dengan
metode kernel.
Universitas Sumatera Utara
4
1.3 Tujuan Penelitian
Ada beberapa tujuan dalam penelitian ini adalah:
1. Menerapkan analisis hubungan non-linear antara dua variabel dengan menggunakan ukuran sampel terkecil yang memungkinkan;
2. Menghadirkan pengenalan singkat akan estimasi regresi nonparametrik;
3. Uraian metode kernel untuk mendapatkan rumusan Nadaraya-Watson dalam
model estimasi regresi nonparametrik.
1.4 Manfaat Penelitian
Penelitian ini diharapkan dapat memberikan pemahaman tentang model estimasi
regresi nonparametrik dengan metode kernel untuk serta bisa menjadi acuan bagi
penelitian yang relevan atau lebih kompleks lagi.
Universitas Sumatera Utara
BAB 2
ANALISIS REGRESI DAN METODE KERNEL
Istilah regresi telah umum dikenal oleh berbagai pihak. Tak jarang juga persoalan
ini menjadi kajian yang menarik untuk dibahas. Pada bab ini akan dibahas tentang
model regresi nonparametrik beserta sifatnya. Pemaparan ini tentunya diharapkan
agar mempermudah dalam mengkaji bab-bab berikutnya serta untuk mendukung
hasil penelitian ini.
2.1 Model Analisis Regresi
Para peneliti sering tertarik mengkaji hubungan antara suatu variabel dengan variabel yang lainnya. Sebagai contoh, ’apakah merokok menyebabkan kanker paruparu?. Sebuah studi yang dilakukan oleh pemerintahan Inggris. Penelitian tersebut
mengambil data dari 25 kelompok kerja yang terdiri dari ribuan responden pria dengan usia yang sama. Variabel pertama menunjukkan jumlah rata-rata rokok yang
dihisap per hari pada setiap jenis pekerjaan. Variabel yang lainnya adalah jumlah
rata-rata angka kematian. Untuk mengetahui hubungan antara angka kematian
dan jumlah rokok yang dihisap, perlu dilakukan kajian terhadap model analisis
regresi.
Analisis regresi merupakan metode statistika yang biasa digunakan untuk
mengetahui hubungan antara satu atau lebih variabel penduga yang biasa dinotasikan dengan y dan variabel kontrol yang biasa dinotasikan dengan variabel x.
Analisis ini biasa dipergunakan untuk menyelesaikan persoalan seperti yang telah
dijelaskan sebelumnya.
Di dalam ilmu statistika, pendekatan analisis yang biasa digunakan untuk
mengestimasi fungsi regresi ada dua jenis, yaitu parametrik dan nonparametrik.
Untuk lebih jelaskan perhatikan penjelasan pada subbab berikut.
2.1.1 Model regresi parametrik
Dalam ilmu statistika, analisis regresi merupakan suatu teknik untuk memodelkan
hubungan antara variabel terikat (depentent variable) dengan satu atau bebera5
Universitas Sumatera Utara
6
pa variabel bebas (independent variable). Dalam regresi sendiri, variabel terikat
dimodelkan sebagai sebuah fungsi atas variabel bebas, nilai parameter yang berkaitan, serta nilai eror yang merepresentasikan variasi dalam variabel terikat tersebut.
Model regresi yang demikian disebut model regresi parametrik. Model regresi yang
demikian dapat ditulis seperti pada persamaan (2.1) berikut ini:
yi = f(β, Xi′ ) + εi
(2.1)
′
dimana β = (β1, . . . , βp) merupakan sebuah vektor parameter yang akan diestimasi, sementara Xi′ = (x1 , . . . , xk ) merupakan sebuah vektor penduga ke-i dari n
data pengamatan. Nilai eror εi diasumsikan berdistribusi normal dengan rata-rata
0 dan konstanta varians σ 2 (Fox, (2002)).
Gujarati (2006) mendefinisikan analisis regresi sebagai kajian terhadap hubungan satu variabel terikat (variabel yang diterangkan) dengan satu atau lebih
variabel bebas (variabel yang menerangkan). Melalui analisis regresi ini, hubungan
antar variabel dapat dengan mudah diketahui. Model regresi sederhana dapat dinyatakan sebagai berikut:
Yi = β0 + β1 X1 + εi , i = 1, , 2, . . . , n
(2.2)
dengan:
Yi
: Variabel tidak bebas pada pengamatan ke-i
Xi
β0 dan β1
: Variabel bebas pada pengamatan ke-i
: Parameter-parameter yang tidak diketahui
εi
: Nilai error (galat/kesalahan)
Pada kasus model analisis regresi parametrik, peneliti biasanya menggu-
nakan metode kuadrat terkecil untuk menduga parameter-parameter regresi dengan
sampel yang teramati dan melandaskan kesimpulan-kesimpulan yang menyangkut
parameter-parameter pada beberapa asumsi yang harus dipenuhi.
Salah satu asumsi yang harus dipenuhi adalah kenormalan galat, yaitu bahwa
galat berditribusi normal dengan rata-rata nol dan simpangan baku tertentu.
Apabila asumsi kenormalan tidak terpenuhi, analisis alternatif yang dapat
digunakan adalah dengan metode regresi nonparametrik. Hal ini dikarenakan oleh
Universitas Sumatera Utara
7
statistik nonparametrik tidak menuntut terpenuhi banyak asumsi, misalnya data
yang akan dianalisis harus berdistribusi normal, dan sebagainya.
2.1.2 Model regresi nonparametrik
Berbeda dengan model regresi yang dijelaskan sebelumnya, untuk kasus regresi
nonparametrik, model regresinya dimodelkan tanpa adanya suatu variabel yang
dianggap sebagai parameter.
Statistik nonparametrik disebut juga statistik bebas sebaran. Statistik nonparametrik tidak mensyaratkan bentuk sebaran parameter populasi. Statistik nonparametrik dapat digunakan pada data yang memiliki sebaran normal atau tidak.
Statistik nonparametrik biasanya digunakan untuk melakukan analisis pada data
nominal atau ordinal.
Metode statistik nonparametrik merupakan metode statistik yang dapat digunakan dengan mengabaikan asumsi-asumsi yang melandasi penggunaan metode
statistik parametrik, terutama yang berkaitan dengan distribusi normal. Nama
lain yang sering digunakan untuk statistik nonparametrik adalah statistik bebas
distribusi.
Analisa regresi adalah analisis statistik yang mempelajari bagaimana membangun sebuah model fungsional dari data untuk dapat menjelaskan ataupun meramalkan suatu fenomena alami atas dasar fenomena yang lain. Analisa regresi
merupakan salah satu teknik statistik yang digunakan secara luas dalam ilmu
pengetahuan terapan. Regresi di samping digunakan untuk mengetahui bentuk
hubungan antar peubah regresi, juga dapat dipergunakan untuk peramalan.
Dalam banyak hal, pengamatan-pengamatan yang akan dikaji tidak selalu
memenuhi asumsi-asumsi yang mendasari uji-uji parametrik sehingga kerap kali
dibutuhkan teknik-teknik inferensial dengan validitas yang tidak bergantung pada
asumsi-asumsi yang kaku. Dalam hal ini, teknik-teknik dalam regresi nonparametrik memenuhi kebutuhan ini karena tetap valid
walaupun tidak diperlukan pemenuhan asumsi kenormalan galat dan hanya
berlandaskan asumsi- asumsi yang sangat umum. Penggunaan regresi nonparametrik dilandasi pada asumsi:
Universitas Sumatera Utara
8
1. Contoh yang diambil bersifat acak dan kontinu;
2. Regresi (Y |X) bersifat linier;
3. Semua nilai Xi saling bebas;
4. Data diasumsikan tidak berdistribusi normal.
Perbandingan statistik nonparametrik dan statistik parametrik. Kekurangan
dan kelebihan setiap pemilihan prosedur pengujian data, apakah itu menggunakan nonparametrik atau parametrik memiliki kelebihan dan kekurangan masingmasing. Berikut adalah kelebihan dan kekurangan masing-masing prosedur:
Kelebihan statistik nonparametrik dibandingkan dengan statistik parametrik
ialah:
1. Asumsi yang digunakan minimum sehingga mengurangi kesalahan penggunaan;
2. Perhitungan dapat dilakukan dengan cepat dan mudah;
3. Konsep dan metode nonparametrik mudah dipahami bahkan oleh seseorang
dengan kemampuan matematik yang minim;
4. Dapat diterapkan pada skala peubah kualitatif (nominal dan ordinal).
Kekurangan statistik nonparametrik dibandingkan dengan statistik parametrik
ialah:
1. Bila digunakan pada data yang dapat diuji menggunakan statistika parametrik
maka hasil pengujian menggunakan statistik nonparametrik menyebabkan
pemborosan informasi;
2. Pekerjaan hitung-menghitung (aritmetik) karena memerlukan ketelitian terkadang menjemukan.
Universitas Sumatera Utara
9
Prosedur nonparametrik digunakan sebaiknya:
1. Bila hipotesis yang diuji tidak melibatkan suatu parameter populasi;
2. Bila data telah diukur menggunakan skala nominal atau ordinal;
3. Bila asumsi-asumsi yang diperlukan pada suatu prosedur pengujian parametrik
tidak terpenuhi;
4. Bila penghitungan harus dilakukan secara manual.
Menurut jenisnya data terdiri dari data kualitatif dan kuantitatif. Data kuantitatif adalah data yang diukur dalam suatu skala numerik (angka). Data kuantitatif dapat dibedakan menjadi:
1. Data interval yaitu data yang diukur dengan jarak diantara dua titik pada
skala yang sudah diketahui;
2. Data rasio yaitu data yang diukur dengan suatu proporsi.
Data kualitatif adalah data yang tidak dapat diukur dalam skala numerik.
Namun dalam statistik semua data harus dalam bentuk angka, maka data kualitatif umumnya dikuantifikasi agar dapat diproses. Kuantifikasi dapat dilakukan
dengan mengklasifikasi data dalam bentuk kategori. Data kualitatif dapat dibedaka
menjadi:
1. Data nominal yaitu data yang dinyatakan dalam bentuk kategori;
2. Data ordinal yaitu data yang dinyatakan dalam bentuk kategori, namun posisi
data tidak sama derajatnya karena dinyatakan dalam skala peringkat.
Secara umum, model regresi nonparametrik dapat ditulis dengan cara yang
sama, hanya saja fungsi f tidak memiliki nilai parameter.
yi = f(Xi′ ) + εi
(2.3)
= f(xi1 , xi2, . . . , xik ) + εi
Universitas Sumatera Utara
10
Analisis regresi adalah analisis statistik yang mempelajari bagaimana membangun sebuah model fungsional dari data untuk dapat menjelaskan ataupun meramalkan suatu fenomena alami atas dasar fenomena yang lain. Analisa regresi
merupakan salah satu teknik statistik yang digunakan secara luas dalam ilmu
pengetahuan terapan. Regresi di samping digunakan untuk mengetahui bentuk hubungan antar peubah regresi, juga dapat dipergunakan untuk peramalan. Regresi
nonparametrik merupakan suatu teknik analisis data dalam statistika yang dapat menjelaskan hubungan antara variabel prediktor dengan variabel respon yang
tidak diketahui bentuk fungsinya karena sebelumnya tidak ada informasi tentang
bentuk fungsi tersebut dan hanya diasumsikan mulus (smooth) dalam arti termuat
dalam suatu ruang fungsi tertentu sehingga regresi nonparametrik sangat mempertahankan fleksibilitasnya. Dalam banyak hal, pengamatan-pengamatan yang akan
dikaji tidak selalu memenuhi asumsi-asumsi yang mendasari uji-uji parametrik sehingga kerap kali dibutuhkan teknik-teknik inferensial dengan validitas yang tidak
bergantung pada asumsi-asumsi yang kaku. Dalam hal ini, teknik-teknik dalam
regresi nonparametrik memenuhi karena tetap valid walaupun tidak diperlukan
pemenuhan asumsi kenormalan galat dan hanya berlandaskan asumsi-asumsi yang
sangat umum. Dalam regresi nonparametrik bentuk kurva juga tidak diketahui,
kurva regresi hanya diasumsikan termuat dalam suatu ruang fungsi yang berdimensi tak hingga dan merupakan fungsi mulus (smooth)
Tujuan dari persoalan regresi nonparametrik adalah untuk mengestimasi fungsi
regresi f secara langsung, bukannya untuk mengestimasi parameter seperti yang
dijelaskan pada persoalan regresi nonlinier sebelumnya. Banyak metode regresi
nonparametrik secara implisit mengasumsikan bahwa fungsi f merupakan fungsi
yang kontinu dan ’mulus’/smooth (Nason dan Silverman, (1994, 2000). Sama
halnya dengan persoalan regresi nonlinier parametrik, pada persoalan regresi nonparametrik juga mengasumsikan bahwa εi ∼ N ID(0, σ 2 ).
Suatu kasus khusus yang penting pada model umumnya adalah bentuk regresi
nonparamtrik sederhana, dimana hanya ada satu prediktor saja.
yi = f(xi ) + εi
(2.4)
Universitas Sumatera Utara
11
Regresi nonparametrik sederhana yang ditunjukkan oleh persamaan (2.4) juga dikenal dengan ’teknik pemulusan terpencar’. Teknik ini merupakan suatu
aplikasi yang sangat penting untuk menemukan kurva yang mulus pada titik-titik
yang terpencar (scatterplot). Gambar 2.1 menunjukkan sebuah teknik pemulusan
pada titik-titik terpencar seperti yang telah dijelaskan.
Gambar 2.1 Scatterplot smoothing
Dikarenakan sulitnya untuk mendapatkan model umum regresi nonparametrik saat terdapat banyak ’penduga’, maka ada beberapa model yang dikembangkan
untuk menghadapi situasi seperti ini. Salah satu modelnya dinamakan model regresi aditif seperti pada persamaan (2.5) berikut ini.
yi = α + f1(xi1 ) + f2 (xi2) + . . . + fk (xik ) + εi
(2.5)
dimana fungsi regresi parsial fj (.) diasumsikan mulus dan terestimasi dari data
yang ada. Model ini pada dasarnya lebih terbatas bila dibandingkan dengan model
regresi nonparametrik, akan tetapi masih lebih baik dibandingkan model regresi
linier.
2.2 Metode Kernel
Bilamana terdapat data yang sangat banyak dimana X = xi , maka cara mengatasinya adalah dengan mencari nilai rata-rata setiap yi pada data tersebut. Dan juga
karena X berdistribusi kontinu, maka tidak perlu dilakukan pengamatan berulang
pada data dengan nilai yang sama.
Universitas Sumatera Utara
12
Solusi dari persoalan tersebut adalah dengan memperhatikan ketetanggaan
xi , untuk itu perlu dilakukan sejumlah pengamatan di ketetanggan tersebut. Trik
yang sangat jelas adalah dengan cara melakukan estimasi bias serta estimasi varians.
Andai dilakukan pengamatan pada sejumlah besar data X. Misalkan x±h untuk sebarang bandwidth h > 0. Maka estimator Nadaraya-Watson (1964) m
ˆ N W (x)
yang ditunjukkan pada persamaan (3.1) merupakan rata-rata nilai yi untuk pengamatan i sedemikian sehingga Xi berada pada ketetanggaannya.
Pn
K(|x − xi| ≤ h)yi
m
ˆ N W (x) = Pi=1
n
K(|x − xi| ≤ h)
Pni=1
i
)
yi K( x−x
h
= Pi=1
n
x−xi
i=1 K( h )
(2.6)
dengan K(u) merupakan Kernel.
Pada dasarnya, fungsi regresi dapat dituliskan seperti pada persamaan (3.2)
berikut.
m(x) =
dimana,
R
yf(x, y)dy
f(x)
(2.7)
n
X
1
y − yi
−1
f(x, y) =
K H (x − xi) K
n|H|hy i=1
hy
dan hy merupakan bandwidth untuk pemulusan data y.
Dengan demikian,
f(x) =
Z
f(x, y)dy
Z
n
X
y − yi
1
−1
dy
K(H (x − xi )) K
=
n|H|hy i=1
hy
n
1 X
=
K(H −1 (x − xi ))
n|H| i=1
(2.8)
Universitas Sumatera Utara
13
dan
Z
Z
n
X
1
y − yi
−1
dy
K(H (x − xi )) yK
yf(x, y)dy =
n|H|hy i=1
hy
n
1 X
=
K(H −1 (x − xi ))yi
n|H| i=1
(2.9)
Kemudian lakukan substitusi persamaan (3.3) dan (3.4) ke persamaan (3.2),
maka diperoleh:
m(x) =
=
Pn
1
−1
(x − xi ))yi
i=1 K(H
n|H|
P
n
1
−1 (x − x ))
i
i=1 K(H
n|H|
Pn
i
)
yi K( x−x
h
Pi=1
n
x−xi
i=1 K( h )
2.3 Smoothing
Tujuan dari smoothing adalah untuk membuang variabilitas dari data yang tidak
memiliki efek sehingga ciri-ciri dari data akan tampak lebih jelas. Smoothing
sendiri telah menjadi sinonim dengan metode-metode yang biasa digunakan untuk
mengestimasi fungsi-fungsi yang ada pada regresi nonparametrik. Beberapa metode smoothing dalam berbagai konteks dapat dijumpai di Priestly (1981), Silverman
(1986), Eubank (1988), Haerdle (1990) dan Hart (1997).
Teknik smoothing yang akan digunakan pada penelitian ini adalah teknik
smoothing Kernel. Teknik ini merupakan pengembangan dari teknik smoothing
menggunakan metode kernel.
Metode Kernel merupakan teknik smoothing yang paling sederhana yang
biasa digunakan pada persoalan regresi nonparametrik. Misalkan fungsi m(x) akan
diestimasi untuk beberapa x ∈ [0, 1]. Jika m adalah fungsi kontinu, maka nilainilai fungsi pada xi yang berdekatan dengan x semestinya akan cukup dekat dengan
m(x). Hal itu memberikan usulan bahwa merata-ratakan nilai Yi yang bersesuaian
dengan xi yang dekat dengan x akan menghasilkan estimator tak bias untuk fungsi
m(x).
Universitas Sumatera Utara
14
Sementara itu, pada teknik smoothing Kernel secara sederhana tersebut digantikan dengan jumlahan berbobot. Biasanya bobot yang lebih besar diberikan
pada Yi yang nilai xi nya mendekati titik estimasi x.
2.4 Teknik Smoothing Kernel
Teknik smoothing Kernel sering digunakan pada persoalan regresi nonparametrik.
Sesuai dengan namanya, teknik ini menggunakan pendekatan Kernel. Pendekatan
Kernel memiliki bentuk yang lebih fleksibel dan perhitungan matematisnya mudah
dikerjakan (Wand, 1995).
Alasan lain dari penggunaan teknik ini dikarenakan pada dasarnya fungsi
Kernel (Wand, 1995) memenuhi kondisi sebagai berikut:
(i) K(x)dx = 1
(ii) xK(x)dx = 0
(iii) x2K(x)dx = k 6= 0
Penduga Kernel didefinisikan seperti pada persamaan (4.1) berikut ini.
n
f(x; h) =
1X
Kh (x − Xi )
n i=1
(2.10)
Terlihat bahwa f(x; h) bergantung pada fungsi Kernel K dan parameter h
yang disebut bandwidth. Bentuk bobot Kernel ditentukan oleh fungsi Kernel K,
sedangkan ukuran bobotnya ditentukan oleh parameter pemulus h.
Ada beberapa fungsi Kernel (Wand, 1995), antara lain:
1.
Uniform
1
I
2 |u|≤1
2.
Triangle
(1 − |u|)I|u|≤1
3.
Epanechnikov
4.
Quartic
5.
Triweight
6.
Gaussian
3
(1 − u2)I|u|≤1
4
15
(1 − u2)2 I|u|≤1
16
35
(1 − u2)3 I|u|≤1
22
3
(1 − u2)I|u|≤1
4
7.
Cosinus
π
cos
4
π
u
2
I|u|≤1
Universitas Sumatera Utara
15
Untuk mengestimasi fungsi regresi m(x) pada model regresi nonparametrik,
Nadaraya dan Watson pada tahun 1964 mendefiniskan estimator Kernel sehingga
disebut estimator Nadaraya-Watson (Hardle, 1994). Penjelasan tentang estimator
Nadaraya-Watson akan dijelaskan pada Bab selanjutnya.
2.5 Estimator Kernel .
Estimator kernel merupakan pengembangan dari estimator histogram. Suatu
histogram disusun dengan meletakkan titik-titik data ke dalam suatu bin atau kelas. Setiap bin dinyatakan secara grafik oleh segiempat dengan lebar sama dan tinggi proposional dengan banyaknya titik-titik data yang terletak dalam bin tersebut.
Estimator kernel merupakan estimator linier yang sama dengan estimator lainnya,
perbedaannya hanya karena metode kernel lebih khusus dalam penggunaan metode
bandwith. Beberapa kelebihan estimator kernel adalah fleksibel, bentuk matematisnya mudah, dan dapat mencapai tingkat kekonvergenan yang relatif cepat
Universitas Sumatera Utara