Kajian terhadap Penduga Komponen Utama Dua Parameter dan Penduga Regresi Komponen Utama dalam Multikolinieritas
KAJIAN TERHADAP PENDUGA KOMPONEN UTAMA DUA
PARAMETER DAN PENDUGA REGRESI KOMPONEN
UTAMA DALAM MULTIKOLINIERITAS
KEZIA PUTRI KASAWANDA
DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2014
PERNYATAAN MENGENAI SKRIPSI DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa skripsi berjudul Kajian terhadap Penduga
Komponen Utama Dua Parameter dan Penduga Regresi Komponen Utama dalam
Multikolinieritas adalah benar karya saya dengan arahan dari komisi pembimbing
dan belum diajukan dalam bentuk apapun kepada perguruan tinggi mana pun.
Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun
tidak diterbitkan oleh penulis lain telah disebutkan dalam teks dan dicantumkan
dalam Daftar Pustaka di bagian akhir skripsi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
.
Bogor, September 2014
Kezia Putri Kasawanda
NIM G14100061
2
ABSTRAK
KEZIA PUTRI KASAWANDA. Kajian terhadap Penduga Komponen Utama Dua
Parameter dan Penduga Regresi Komponen Utama dalam Multikolinieritas.
Dibimbing oleh KUSMAN SADIK dan BAGUS SARTONO.
Multikolinieritas adalah salah satu masalah pada regresi linier berganda yang
menyebabkan metode kuadrat terkecil tidak lagi menjadi penduga terbaik. Hal
tersebut menyebabkan munculnya penduga-penduga bias untuk mengatasi masalah
multikolinieritas, salah satunya penduga regresi komponen utama. Penduga
komponen utama dua parameter (KUDP) diajukan sebagai penduga yang lebih
unggul dari penduga regresi komponen utama (RKU) (Yang dan Chang 2012).
Penelitian ini bertujuan mengkaji penduga KUDP dan penduga RKU dengan
kriteria pembeda yang diteliti adalah kuadrat tengah galat (KTG) dan bias relatif
hasil dugaan parameter dengan metode simulasi Monte Carlo serta mengkaji
perbandingan nilai KTG(y� ) penduga KUDP dan penduga RKU berdasarkan data
rill. Hasil simulasi menunjukkan bahwa KTG yang dihasilkan oleh penduga KUDP
hampir sama dengan KTG yang dihasilkan penduga RKU. Besar KTG yang
dihasilkan KUDP tidak diikuti dengan lebih kecilnya bias yang dihasilkan oleh
penduga KUDP. Berdasarkan kajian menggunakan data rill pada penelitian ini
menunjukkan kesesuaian dengan simulasi yang telah dilakukan.
Kata kunci : Analisis Regresi Berganda, Komponen Utama Dua Parameter,
Multikolinieritas
ABSTRACT
KEZIA PUTRI KASAWANDA. Study of Principal Component Two Parameter
estimators and Principal Component Regression estimators in Multicollinearity .
Supervised by KUSMAN SADIK and BAGUS SARTONO .
Multicollinearity is one of linear multiple regression problems. The existence
of multicollinearity causes the least squares method becomes no longer the best
estimator. To overcome this problem, many new biased estimator have been
proposed, one of them is Principal Component Regression (PCR) estimator.
Principal Component Two Parameter (PCTP) filed as a superior estimator than the
PCR estimator (Yang and Chang 2012). This study aimed to examine the PCTP
estimator and PCR estimator with the distinguishing criteria to be studied are Mean
Square Error (MSE) and relative bias of parameter prediction with a Monte Carlo
simulation method and also assess the comparative value of MSE( y� ) PCTP
estimators and PCR estimators based on rill data. Simulation results show that the
MSE of PCTP similar to the MSE of PCR estimator. Based on evaluation, bias
value of PCTP estimator is bigger than the PCR. The rill data evaluation
conformance to simulations that have been carried out.
Keywords: Multiple Regression Analysis, Multicollinearity, Principal Component
Two Parameter
3
KAJIAN TERHADAP PENDUGA KOMPONEN UTAMA DUA
PARAMETER DAN PENDUGA REGRESI KOMPONEN
UTAMA DALAM MULTIKOLINIERITAS
Skripsi
sebagai salah satu syarat untuk memperoleh gelar
Sarjana Statistika
pada
Departemen Statistika
DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2014
KEZIA PUTRI
KASAWANDA
4
5
Judul Skripsi : Kajian terhadap Penduga Komponen Utama Dua Parameter dan
Penduga Regresi Komponen Utama dalam Multikolinieritas
Nama
: Kezia Putri Kasawanda
NIM
: G14100061
Disetujui oleh
Dr Kusman Sadik, MSi
Pembimbing I
Dr Bagus Sartono, MSi
Pembimbing II
Diketahui oleh
Dr Anang Kurnia, MSi
Ketua Departemen
Tanggal Lulus:
6
PRAKATA
Puji dan syukur kehadirat Allah SWT atas segala rahmat dan karunia-Nya
sehingga skripsi ini berhasil diselesaikan. Penelitian ini berjudul Kajian terhadap
Penduga Komponen Utama Dua Parameter dan Penduga Regresi Komponen Utama
dalam Multikolinieritas.
Pada kesempatan ini, penulis mengucapkan terima kasih kepada :
1. Bapak Dr Kusman Sadik, MSi dan Bapak Dr Bagus Sartono, MSi selaku
pembibing yang telah memberikan banyak saran dan dukungan dalam
pelaksanaan penelitian dan penyusunan tugas akhir ini.
2. Bapak Dr Budi Susetyo, MS selaku dosen penguji yang telah memberikan
kritik dan sarannya.
3. Keluargaku tercinta, Ayah (Otang Kadarusman, SPd MPd), Ibu (Eni
Alifah, SPd), dan Adik (Gusti Muhammad Sagala) serta keluarga besar
atas segala doa dan motivasi kepada penulis.
4. Teman-teman STK 47 yang banyak memberi pengalaman tak terlupakan
serta segala dukungan dan motivasi.
5. Sahabat-sahabat kostan Aisyah atas segala motivasi dan sarannya.
Semoga karya ilmiah ini bermanfaat.
Bogor, September 2014
Kezia Putri Kasawanda
7
DAFTAR ISI
DAFTAR TABEL
vii
DAFTAR LAMPIRAN
vii
PENDAHULUAN
1
Latar Belakang
1
Tujuan Penelitian
1
TINJAUAN PUSTAKA
2
BAHAN DAN METODE
4
Bahan
4
Metode
4
HASIL DAN PEMBAHASAN
SIMPULAN DAN SARAN
6
13
Simpulan
13
Saran
13
DAFTAR PUSTAKA
14
LAMPIRAN
15
RIWAYAT HIDUP
38
8
DAFTAR TABEL
1 Total persentase bias relatif dugaan parameter regresi pada kombinasi
β = (2.5, 1.5, -3, 0.8, 7)
2 Total persentase bias relatif dugaan parameter regresi pada kombinasi
β = (2.5, 1.5, -3, 0.8, 3)
3 Total persentase bias relatif dugaan parameter regresi pada kombinasi
β = (2.5, 1.5, -3, 0.8, 7)
4 Frekuensi KTG(βKUDP) < KTG(βRKU) dalam 100 ulangan
5 Frekuensi rata-rata KTG(yKUDP) < rata-rata KTG(yRKU) dalam 100
ulangan
6 Daftar peubah – peubah penjelas dengan korelasi signifikan
7 Nilai dugaan koefisien regresi dan nilai KTG penduga KUDP dan
penduga RKU
8 Hasil uji parsial penduga MKT, RKU, dan KUDP
7
8
9
10
11
12
12
13
DAFTAR LAMPIRAN
1 Algoritma perbandingan nilai rata-rata KTG hasil prediksi KUDP dan
RKU pada R berbentuk fungsi jumlahy
2 Algoritma perbandingan nilai KTG penduga KUDP dan penduga RKU
pada R berbentuk fungsi jumlah
3 Algoritma perhitungan nilai KTG dugaan beta KUDP dan RKU, ratarata KTG hasil prediksi model KUDP dan RKU dan persentase bias
relatif dugaan parameter pada R dalam bentuk fungsi BRKTG
4 Algoritma perbandingan nilai KTG hasil prediksi data riil model KUDP
dan penduga RKU pada R berbentuk fungsi KTGriil
5 Hasil pemeriksaan korelasi dengan γ2 = 0,1
6 Hasil pemeriksaan korelasi dengan γ2 = 0,4
7 Hasil pemeriksaan korelasi dengan γ2 = 0,7
8 Hasil pemeriksaan korelasi dengan γ2 = 0,8
9 Hasil pemeriksaan korelasi dengan γ2 = 0,9
10 Hasil pemeriksaan korelasi antar-peubah penjelas pada data riil
11 Hasil pemeriksaan persentase bias relatif
12 Hasil pemeriksaan KTG dugaan parameter regresi data simulasi
13 Hasil pemeriksaan rata-rata KTG hasil prediksi data simulasi
14 Hasil pemeilihan model terbaik dengan Best Subset
15
17
19
21
23
23
23
23
24
24
25
32
35
37
9
10
1
PENDAHULUAN
Latar Belakang
Hubungan antara peubah respon yang bergantung pada satu atau lebih peubah
penjelas dapat dicirikan melalui model regresi. Model regresi diperoleh melalui
beberapa proses, yaitu spesifikasi atau identifikasi model, pendugaan nilai
parameter model termasuk diantaranya pemilihan model terbaik, dan pengujian
terhadap model. Masalah pendugaan parameter pada analisis regresi linier berganda
merupakan masalah yang menarik pada beberapa penelitian, yaitu penelitian yang
memiliki tujuan utama untuk mengetahui kontribusi relatif dari setiap peubah
penjelas dalam menjelaskan peubah respon. Terdapat beberapa masalah yang dapat
timbul pada pendugaan parameter regresi linier berganda, salah satunya adalah
multikolinieritas. Multikolinieritas terjadi karena terdapat korelasi antar-peubah
penjelas yang memperbesar ragam dari penduga metode kuadrat terkecil (MKT)
(Wetherhill 1986).
Metode kuadrat terkecil (MKT) adalah penduga tak bias terbaik (memiliki
ragam minimum). Multikolinieritas menyebabkan MKT tidak lagi menjadi
penduga terbaik. Menurut Aunuddin (1989) multikolinieritas menyebabkan
pendugaan parameter regresi menggunakan MKT tidak lagi valid karena tanda dari
dugaan parameter menjadi tidak sesuai. Adapun dampak lain dari terjadinya
multikolinieritas adalah sulit dalam melakukan interpretasi karena ketika terjadi
perubahan pada peubah penjelas yang saling berkorelasi menyebabkan peubah lain
yang juga berkorelasi akan ikut berubah sesuai dengan arah korelasinya (Draper
dan Smith 1998). Banyak penduga bias baru yang diajukan untuk mengatasi
masalah multikolinieritas, diantaranya penduga regresi komponen utama, penduga
regresi gulud (ridge regression), dan penduga Stein.
Kombinasi dari penduga Stein dan penduga regresi gulud diajukan sebagai
penduga Liu dengan harapan penduga baru tersebut mewarisi keunggulan dari
setiap penduga yang dikombinasikan (Li dan Yang 2012). Kombinasi penduga Liu
dan penduga regresi gulud disebut sebagai penduga dua parameter (DP) yang
mengandung MKT, regresi gulud, dan penduga Liu pada kasus tertentu.
Mengombinasikan penduga dua parameter dalam cakupan regresi komponen utama
(RKU) menghasilkan penduga baru yang disebut penduga komponen utama dua
parameter (KUDP) sebagai penduga yang lebih baik dari penduga regresi
komponen utama (RKU) (Yang dan Chang 2012).
Oleh karena itu, penelitian ini bertujuan untuk mengkaji penduga KUDP dan
penduga RKU dalam multikolinieritas menggunakan simulasi dengan metode
simulasi Monte Carlo dan menggunakan data riil untuk mengkaji perbandingan
kuadrat tengah galat (KTG). Penelitian ini diharapkan dapat menjadi masukan atau
evaluasi terhadap penelitian sebelumnya.
Tujuan Penelitian
Tujuan penelitian ini adalah mengkaji penduga KUDP dan penduga RKU
dengan KTG dan bias relatif sebagai kriteria pembeda yang diteliti.
2
TINJAUAN PUSTAKA
Regresi Linier Berganda
Model regresi linier mencirikan hubungan linier antara peubah penjelas
terhadap peubah respon. Model dengan lebih dari satu peubah penjelas disebut
model regresi linier berganda. Model regresi linier dengan k peubah penjelas
didefinisikan sebagai berikut.
y = β0 + β1 x1 + β2 x2 +…+ βk xk + ε
dengan,
y : peubah respon
xi : peubah penjelas ke-i ; i = 1, 2, ..., k
βi : parameter regresi ke-i
Nilai dari parameter regresi β1 , β2 , …, βk tidak diketahui sehingga harus
diduga dari data yang berupa contoh. (Bowerman dan O’Connel 1997).
Metode Kuadrat Terkecil
Metode kuadrat terkecil (MKT) adalah penduga parameter regresi yang
bersifat tak bias terbaik (memiliki ragam minimum) dengan prinsip
meminimumkan Jumlah Kuadrat Galat (JKG). Penduga MKT didefinisikan sebagai
berikut.
β� = (X'X)-1 X'y
dengan var(β� ) = (X'X)-1 KTG dan E(β� ) = β (Myers dan Milton 1991).
Multikolinieritas
Multikolinieritas adalah salah satu masalah pada pendugaan parameter regresi
linier berganda. Multikolinieritas terjadi karena terdapat korelasi yang
memperbesar ragam dan koragam dari pendugaan parameter menggunakan MKT
sebagai metode tak bias terbaik. Adapun penyebab dari membesarnya ragam karena
matriks X'X bersifat hampir singular ketika terjadi multikolinieritas. Akibat dari
membesarnya ragam dugaan parameter dengan MKT adalah uji F signifikan namun
uji t banyak yang tidak signifikan (Wetherhill 1986). Terdapat beberapa akibat lain
dari multikolinieritas diantaranya sulit melakukan interpretasi karena ketika terjadi
perubahan pada peubah penjelas yang saling berkorelasi maka peubah lain yang
juga berkorelasi akan berubah sesuai arah korelasinya (Draper dan Smith 1998).
Multikolinieritas juga menyebabkan tanda dari dugaan parameter regresi tidak
sesuai sehingga pendugaan parameter menggunakan MKT tidak lagi valid
(Aunuddin 1989).
Multikolinieritas dapat diatasi dengan beberapa cara. Beberapa cara untuk
mengatasi masalah multikolinieritas adalah sebagai berikut.
1.
Membuang peubah penjelas yang memiliki korelasi tinggi terhadap peubah
penjelas lainnya.
2.
Menambah data pengamatan/contoh.
3
3.
4.
Melakukan transformasi terhadap peubah-peubah penjelas yang memiliki
kolinieritas atau menggabungkan peubah-peubah penjelas menjadi peubah
baru yang lebih berarti.
Menggunakan penduga yang mengatasi multikolinieritas seperti regresi gulud
(rigde regression) dan regresi komponen utama (RKU) (Draper dan Smith
1998).
Komponen Utama Dua Parameter
Masalah multikolinieritas pada regresi linier berganda menyebabkan
ketidakstabilan penduga metode kuadrat terkecil (MKT) sebagai penduga tak bias
terbaik dalam menduga parameter regresi. Masalah multikolinieritas menyebabkan
munculnya penduga-penduga bias untuk mengatasi permasalahan tersebut,
diantaranya penduga Stein, penduga regresi gulud, dan penduga regresi komponen
utama (RKU).
Penduga Stein merupakan penduga yang memiliki nilai KTG lebih kecil dari
penduga MKT dan stabil ketika terjadi multikolinieritas. Penduga Stein bersifat
terbaik (memiliki ragam minimum) seragam dalam kelasnya ketika k ≥ 3 dengan k
merupakan banyak peubah penjelas. Penduga Stein pada regresi linier didefinisikan
sebagai berikut (Hoffmann 1999).
β� s = �1-
a σ� 2
�X β� �
2
� β� ; 0 < a < 2(k - 2)
(1)
2
1
dengan, σ� 2 = n - k - 2 �y - Xβ� � dan β� = (X'X)-1 X'y .
Penduga regresi gulud merupakan penduga bias yang memiliki prinsip sama
dengan penduga MKT yaitu meminimumkan JKG. Perbedaan dari kedua penduga
tersebut adalah penduga regresi gulud menambahkan koefisien pembias parameter.
Koefisien pembias parameter pada regresi gulud bersifat memperbesar nilai bias
namun memperkecil nilai JKG dari penduga tersebut yang menyebabkan penduga
regresi gulud memiliki nilai JKG lebih kecil dari penduga MKT. Penduga regresi
gulud didefinisikan sebagai berikut (Montgomery dan Peck 1992).
β� RG (k) = (X'X + kI)-1 X'y
(2)
dengan k > 0 adalah koefisien pembias parameter.
Mengombinasikan penduga Stein (persamaan 1) dan penduga regresi gulud
(persamaan 2) akan menghasilkan penduga Liu dengan harapan mewarisi
keunggulan dari kedua penduga penyusunnya. Penduga Liu didefinisikan sebagai
berikut (Li dan Yang 2012).
β� L (d) = (X'X + I)-1 (X'X + dI)β� ; 0 < d < 1
(3)
-1
�
dengan β = (X'X) X'y.
Menurut Yang dan Chang (2012), kombinasi dari penduga Liu (persamaan 3)
dan penduga regresi gulud (persamaan 2) disebut sebagai penduga dua parameter.
Penduga dua parameter didefinisikan sebagai berikut.
(4)
β� p (k,d) = β� (k,d) = (X'X + I)-1 (X'X + dI)(X'X + kI)-1 X'y
dengan penduga regresi komponen utama,
β� r (0,1) = Tr (Tr 'X'XTr )-1 Tr 'X'y
(5)
4
sehingga mengombinasikan penduga dua parameter (persamaan 4) dalam cakupan
regresi komponen utama (persamaan 5) menghasilkan penduga komponen utama
dua parameter (KUDP) sebagai penduga yang lebih baik dari penduga regresi
komponen utama (RKU). Penduga KUDP didefinisikan sebagai berikut.
β� r (k,d) = Tr Tr 'β� (k,d) = Tr Tr '(X'X + I)-1 (X'X + dI) (X'X + kI)-1 X'y
= Tr (Tr 'X'XTr + Ir )-1 (Tr 'X'XTr + dIr ) (Tr 'X'XTr + kIr )-1 Tr 'X'y (6)
dengan
k > 0 dan 0 < d < 1
T = (t1 , t2 , … , tp ) = (Tr ,Tp-r ) adalah matriks ortogonal berukuran pxp yang
merupakan vektor ciri matriks X'X yang bersesuaian dengan akar ciri X'X
dengan
Λr
0
�Tr ,Tp-r �′X'X�Tr ,Tp-r � = Λ = � 0 Λ � ; 0 < r ≤ p
p-r
Λ = diag (λ1 , λ2 , λ3 , …, λp )
Λr = diag (λ1 , λ2 , λ3 , …, λr )
(λr+1 , λr+2 ,DAN
λr+3 , …,
λp-r )
Λp-r = diag BAHAN
METODE
λ1 ≥ λ2 ≥ … ≥ λp > 0 adalah akar ciri dari X'X yang sudah terurut.
BAHAN DAN METODE
Bahan
Data yang digunakan pada penelitian ini adalah data simulasi hasil bangkitan
menggunakan software R 3.0.2 dengan algoritma simulasi yang mengacu pada
Yang dan Chang (2011). Kajian pada sebuah contoh kasus bertujuan untuk melihat
implikasi dari simulasi. Data yang digunakan pada contoh kasus adalah suatu data
riil dari riset Badan Penelitian dan Pengembangan Kesehatan (Balitbangkes)
Kementrian Kesehatan RI pada 33 provinsi di Indonesia yang dimuat dalam
Laporan Hasil Riset Kesehatan Dasar (Riskesdas) tahun 2010.
Data peubah respon (Y) dan peubah-peubah penjelas (X) yang digunakan
sebagai contoh kasus didefinisikan sebagai berikut.
Y : Prevalensi status gizi buruk anggota rumahtangga usia 16-18 tahun
X1 : Persentase rata-rata kecukupan konsumsi energi
X2 : Persentase rata-rata kecukupan konsumsi energi (
PARAMETER DAN PENDUGA REGRESI KOMPONEN
UTAMA DALAM MULTIKOLINIERITAS
KEZIA PUTRI KASAWANDA
DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2014
PERNYATAAN MENGENAI SKRIPSI DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa skripsi berjudul Kajian terhadap Penduga
Komponen Utama Dua Parameter dan Penduga Regresi Komponen Utama dalam
Multikolinieritas adalah benar karya saya dengan arahan dari komisi pembimbing
dan belum diajukan dalam bentuk apapun kepada perguruan tinggi mana pun.
Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun
tidak diterbitkan oleh penulis lain telah disebutkan dalam teks dan dicantumkan
dalam Daftar Pustaka di bagian akhir skripsi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
.
Bogor, September 2014
Kezia Putri Kasawanda
NIM G14100061
2
ABSTRAK
KEZIA PUTRI KASAWANDA. Kajian terhadap Penduga Komponen Utama Dua
Parameter dan Penduga Regresi Komponen Utama dalam Multikolinieritas.
Dibimbing oleh KUSMAN SADIK dan BAGUS SARTONO.
Multikolinieritas adalah salah satu masalah pada regresi linier berganda yang
menyebabkan metode kuadrat terkecil tidak lagi menjadi penduga terbaik. Hal
tersebut menyebabkan munculnya penduga-penduga bias untuk mengatasi masalah
multikolinieritas, salah satunya penduga regresi komponen utama. Penduga
komponen utama dua parameter (KUDP) diajukan sebagai penduga yang lebih
unggul dari penduga regresi komponen utama (RKU) (Yang dan Chang 2012).
Penelitian ini bertujuan mengkaji penduga KUDP dan penduga RKU dengan
kriteria pembeda yang diteliti adalah kuadrat tengah galat (KTG) dan bias relatif
hasil dugaan parameter dengan metode simulasi Monte Carlo serta mengkaji
perbandingan nilai KTG(y� ) penduga KUDP dan penduga RKU berdasarkan data
rill. Hasil simulasi menunjukkan bahwa KTG yang dihasilkan oleh penduga KUDP
hampir sama dengan KTG yang dihasilkan penduga RKU. Besar KTG yang
dihasilkan KUDP tidak diikuti dengan lebih kecilnya bias yang dihasilkan oleh
penduga KUDP. Berdasarkan kajian menggunakan data rill pada penelitian ini
menunjukkan kesesuaian dengan simulasi yang telah dilakukan.
Kata kunci : Analisis Regresi Berganda, Komponen Utama Dua Parameter,
Multikolinieritas
ABSTRACT
KEZIA PUTRI KASAWANDA. Study of Principal Component Two Parameter
estimators and Principal Component Regression estimators in Multicollinearity .
Supervised by KUSMAN SADIK and BAGUS SARTONO .
Multicollinearity is one of linear multiple regression problems. The existence
of multicollinearity causes the least squares method becomes no longer the best
estimator. To overcome this problem, many new biased estimator have been
proposed, one of them is Principal Component Regression (PCR) estimator.
Principal Component Two Parameter (PCTP) filed as a superior estimator than the
PCR estimator (Yang and Chang 2012). This study aimed to examine the PCTP
estimator and PCR estimator with the distinguishing criteria to be studied are Mean
Square Error (MSE) and relative bias of parameter prediction with a Monte Carlo
simulation method and also assess the comparative value of MSE( y� ) PCTP
estimators and PCR estimators based on rill data. Simulation results show that the
MSE of PCTP similar to the MSE of PCR estimator. Based on evaluation, bias
value of PCTP estimator is bigger than the PCR. The rill data evaluation
conformance to simulations that have been carried out.
Keywords: Multiple Regression Analysis, Multicollinearity, Principal Component
Two Parameter
3
KAJIAN TERHADAP PENDUGA KOMPONEN UTAMA DUA
PARAMETER DAN PENDUGA REGRESI KOMPONEN
UTAMA DALAM MULTIKOLINIERITAS
Skripsi
sebagai salah satu syarat untuk memperoleh gelar
Sarjana Statistika
pada
Departemen Statistika
DEPARTEMEN STATISTIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2014
KEZIA PUTRI
KASAWANDA
4
5
Judul Skripsi : Kajian terhadap Penduga Komponen Utama Dua Parameter dan
Penduga Regresi Komponen Utama dalam Multikolinieritas
Nama
: Kezia Putri Kasawanda
NIM
: G14100061
Disetujui oleh
Dr Kusman Sadik, MSi
Pembimbing I
Dr Bagus Sartono, MSi
Pembimbing II
Diketahui oleh
Dr Anang Kurnia, MSi
Ketua Departemen
Tanggal Lulus:
6
PRAKATA
Puji dan syukur kehadirat Allah SWT atas segala rahmat dan karunia-Nya
sehingga skripsi ini berhasil diselesaikan. Penelitian ini berjudul Kajian terhadap
Penduga Komponen Utama Dua Parameter dan Penduga Regresi Komponen Utama
dalam Multikolinieritas.
Pada kesempatan ini, penulis mengucapkan terima kasih kepada :
1. Bapak Dr Kusman Sadik, MSi dan Bapak Dr Bagus Sartono, MSi selaku
pembibing yang telah memberikan banyak saran dan dukungan dalam
pelaksanaan penelitian dan penyusunan tugas akhir ini.
2. Bapak Dr Budi Susetyo, MS selaku dosen penguji yang telah memberikan
kritik dan sarannya.
3. Keluargaku tercinta, Ayah (Otang Kadarusman, SPd MPd), Ibu (Eni
Alifah, SPd), dan Adik (Gusti Muhammad Sagala) serta keluarga besar
atas segala doa dan motivasi kepada penulis.
4. Teman-teman STK 47 yang banyak memberi pengalaman tak terlupakan
serta segala dukungan dan motivasi.
5. Sahabat-sahabat kostan Aisyah atas segala motivasi dan sarannya.
Semoga karya ilmiah ini bermanfaat.
Bogor, September 2014
Kezia Putri Kasawanda
7
DAFTAR ISI
DAFTAR TABEL
vii
DAFTAR LAMPIRAN
vii
PENDAHULUAN
1
Latar Belakang
1
Tujuan Penelitian
1
TINJAUAN PUSTAKA
2
BAHAN DAN METODE
4
Bahan
4
Metode
4
HASIL DAN PEMBAHASAN
SIMPULAN DAN SARAN
6
13
Simpulan
13
Saran
13
DAFTAR PUSTAKA
14
LAMPIRAN
15
RIWAYAT HIDUP
38
8
DAFTAR TABEL
1 Total persentase bias relatif dugaan parameter regresi pada kombinasi
β = (2.5, 1.5, -3, 0.8, 7)
2 Total persentase bias relatif dugaan parameter regresi pada kombinasi
β = (2.5, 1.5, -3, 0.8, 3)
3 Total persentase bias relatif dugaan parameter regresi pada kombinasi
β = (2.5, 1.5, -3, 0.8, 7)
4 Frekuensi KTG(βKUDP) < KTG(βRKU) dalam 100 ulangan
5 Frekuensi rata-rata KTG(yKUDP) < rata-rata KTG(yRKU) dalam 100
ulangan
6 Daftar peubah – peubah penjelas dengan korelasi signifikan
7 Nilai dugaan koefisien regresi dan nilai KTG penduga KUDP dan
penduga RKU
8 Hasil uji parsial penduga MKT, RKU, dan KUDP
7
8
9
10
11
12
12
13
DAFTAR LAMPIRAN
1 Algoritma perbandingan nilai rata-rata KTG hasil prediksi KUDP dan
RKU pada R berbentuk fungsi jumlahy
2 Algoritma perbandingan nilai KTG penduga KUDP dan penduga RKU
pada R berbentuk fungsi jumlah
3 Algoritma perhitungan nilai KTG dugaan beta KUDP dan RKU, ratarata KTG hasil prediksi model KUDP dan RKU dan persentase bias
relatif dugaan parameter pada R dalam bentuk fungsi BRKTG
4 Algoritma perbandingan nilai KTG hasil prediksi data riil model KUDP
dan penduga RKU pada R berbentuk fungsi KTGriil
5 Hasil pemeriksaan korelasi dengan γ2 = 0,1
6 Hasil pemeriksaan korelasi dengan γ2 = 0,4
7 Hasil pemeriksaan korelasi dengan γ2 = 0,7
8 Hasil pemeriksaan korelasi dengan γ2 = 0,8
9 Hasil pemeriksaan korelasi dengan γ2 = 0,9
10 Hasil pemeriksaan korelasi antar-peubah penjelas pada data riil
11 Hasil pemeriksaan persentase bias relatif
12 Hasil pemeriksaan KTG dugaan parameter regresi data simulasi
13 Hasil pemeriksaan rata-rata KTG hasil prediksi data simulasi
14 Hasil pemeilihan model terbaik dengan Best Subset
15
17
19
21
23
23
23
23
24
24
25
32
35
37
9
10
1
PENDAHULUAN
Latar Belakang
Hubungan antara peubah respon yang bergantung pada satu atau lebih peubah
penjelas dapat dicirikan melalui model regresi. Model regresi diperoleh melalui
beberapa proses, yaitu spesifikasi atau identifikasi model, pendugaan nilai
parameter model termasuk diantaranya pemilihan model terbaik, dan pengujian
terhadap model. Masalah pendugaan parameter pada analisis regresi linier berganda
merupakan masalah yang menarik pada beberapa penelitian, yaitu penelitian yang
memiliki tujuan utama untuk mengetahui kontribusi relatif dari setiap peubah
penjelas dalam menjelaskan peubah respon. Terdapat beberapa masalah yang dapat
timbul pada pendugaan parameter regresi linier berganda, salah satunya adalah
multikolinieritas. Multikolinieritas terjadi karena terdapat korelasi antar-peubah
penjelas yang memperbesar ragam dari penduga metode kuadrat terkecil (MKT)
(Wetherhill 1986).
Metode kuadrat terkecil (MKT) adalah penduga tak bias terbaik (memiliki
ragam minimum). Multikolinieritas menyebabkan MKT tidak lagi menjadi
penduga terbaik. Menurut Aunuddin (1989) multikolinieritas menyebabkan
pendugaan parameter regresi menggunakan MKT tidak lagi valid karena tanda dari
dugaan parameter menjadi tidak sesuai. Adapun dampak lain dari terjadinya
multikolinieritas adalah sulit dalam melakukan interpretasi karena ketika terjadi
perubahan pada peubah penjelas yang saling berkorelasi menyebabkan peubah lain
yang juga berkorelasi akan ikut berubah sesuai dengan arah korelasinya (Draper
dan Smith 1998). Banyak penduga bias baru yang diajukan untuk mengatasi
masalah multikolinieritas, diantaranya penduga regresi komponen utama, penduga
regresi gulud (ridge regression), dan penduga Stein.
Kombinasi dari penduga Stein dan penduga regresi gulud diajukan sebagai
penduga Liu dengan harapan penduga baru tersebut mewarisi keunggulan dari
setiap penduga yang dikombinasikan (Li dan Yang 2012). Kombinasi penduga Liu
dan penduga regresi gulud disebut sebagai penduga dua parameter (DP) yang
mengandung MKT, regresi gulud, dan penduga Liu pada kasus tertentu.
Mengombinasikan penduga dua parameter dalam cakupan regresi komponen utama
(RKU) menghasilkan penduga baru yang disebut penduga komponen utama dua
parameter (KUDP) sebagai penduga yang lebih baik dari penduga regresi
komponen utama (RKU) (Yang dan Chang 2012).
Oleh karena itu, penelitian ini bertujuan untuk mengkaji penduga KUDP dan
penduga RKU dalam multikolinieritas menggunakan simulasi dengan metode
simulasi Monte Carlo dan menggunakan data riil untuk mengkaji perbandingan
kuadrat tengah galat (KTG). Penelitian ini diharapkan dapat menjadi masukan atau
evaluasi terhadap penelitian sebelumnya.
Tujuan Penelitian
Tujuan penelitian ini adalah mengkaji penduga KUDP dan penduga RKU
dengan KTG dan bias relatif sebagai kriteria pembeda yang diteliti.
2
TINJAUAN PUSTAKA
Regresi Linier Berganda
Model regresi linier mencirikan hubungan linier antara peubah penjelas
terhadap peubah respon. Model dengan lebih dari satu peubah penjelas disebut
model regresi linier berganda. Model regresi linier dengan k peubah penjelas
didefinisikan sebagai berikut.
y = β0 + β1 x1 + β2 x2 +…+ βk xk + ε
dengan,
y : peubah respon
xi : peubah penjelas ke-i ; i = 1, 2, ..., k
βi : parameter regresi ke-i
Nilai dari parameter regresi β1 , β2 , …, βk tidak diketahui sehingga harus
diduga dari data yang berupa contoh. (Bowerman dan O’Connel 1997).
Metode Kuadrat Terkecil
Metode kuadrat terkecil (MKT) adalah penduga parameter regresi yang
bersifat tak bias terbaik (memiliki ragam minimum) dengan prinsip
meminimumkan Jumlah Kuadrat Galat (JKG). Penduga MKT didefinisikan sebagai
berikut.
β� = (X'X)-1 X'y
dengan var(β� ) = (X'X)-1 KTG dan E(β� ) = β (Myers dan Milton 1991).
Multikolinieritas
Multikolinieritas adalah salah satu masalah pada pendugaan parameter regresi
linier berganda. Multikolinieritas terjadi karena terdapat korelasi yang
memperbesar ragam dan koragam dari pendugaan parameter menggunakan MKT
sebagai metode tak bias terbaik. Adapun penyebab dari membesarnya ragam karena
matriks X'X bersifat hampir singular ketika terjadi multikolinieritas. Akibat dari
membesarnya ragam dugaan parameter dengan MKT adalah uji F signifikan namun
uji t banyak yang tidak signifikan (Wetherhill 1986). Terdapat beberapa akibat lain
dari multikolinieritas diantaranya sulit melakukan interpretasi karena ketika terjadi
perubahan pada peubah penjelas yang saling berkorelasi maka peubah lain yang
juga berkorelasi akan berubah sesuai arah korelasinya (Draper dan Smith 1998).
Multikolinieritas juga menyebabkan tanda dari dugaan parameter regresi tidak
sesuai sehingga pendugaan parameter menggunakan MKT tidak lagi valid
(Aunuddin 1989).
Multikolinieritas dapat diatasi dengan beberapa cara. Beberapa cara untuk
mengatasi masalah multikolinieritas adalah sebagai berikut.
1.
Membuang peubah penjelas yang memiliki korelasi tinggi terhadap peubah
penjelas lainnya.
2.
Menambah data pengamatan/contoh.
3
3.
4.
Melakukan transformasi terhadap peubah-peubah penjelas yang memiliki
kolinieritas atau menggabungkan peubah-peubah penjelas menjadi peubah
baru yang lebih berarti.
Menggunakan penduga yang mengatasi multikolinieritas seperti regresi gulud
(rigde regression) dan regresi komponen utama (RKU) (Draper dan Smith
1998).
Komponen Utama Dua Parameter
Masalah multikolinieritas pada regresi linier berganda menyebabkan
ketidakstabilan penduga metode kuadrat terkecil (MKT) sebagai penduga tak bias
terbaik dalam menduga parameter regresi. Masalah multikolinieritas menyebabkan
munculnya penduga-penduga bias untuk mengatasi permasalahan tersebut,
diantaranya penduga Stein, penduga regresi gulud, dan penduga regresi komponen
utama (RKU).
Penduga Stein merupakan penduga yang memiliki nilai KTG lebih kecil dari
penduga MKT dan stabil ketika terjadi multikolinieritas. Penduga Stein bersifat
terbaik (memiliki ragam minimum) seragam dalam kelasnya ketika k ≥ 3 dengan k
merupakan banyak peubah penjelas. Penduga Stein pada regresi linier didefinisikan
sebagai berikut (Hoffmann 1999).
β� s = �1-
a σ� 2
�X β� �
2
� β� ; 0 < a < 2(k - 2)
(1)
2
1
dengan, σ� 2 = n - k - 2 �y - Xβ� � dan β� = (X'X)-1 X'y .
Penduga regresi gulud merupakan penduga bias yang memiliki prinsip sama
dengan penduga MKT yaitu meminimumkan JKG. Perbedaan dari kedua penduga
tersebut adalah penduga regresi gulud menambahkan koefisien pembias parameter.
Koefisien pembias parameter pada regresi gulud bersifat memperbesar nilai bias
namun memperkecil nilai JKG dari penduga tersebut yang menyebabkan penduga
regresi gulud memiliki nilai JKG lebih kecil dari penduga MKT. Penduga regresi
gulud didefinisikan sebagai berikut (Montgomery dan Peck 1992).
β� RG (k) = (X'X + kI)-1 X'y
(2)
dengan k > 0 adalah koefisien pembias parameter.
Mengombinasikan penduga Stein (persamaan 1) dan penduga regresi gulud
(persamaan 2) akan menghasilkan penduga Liu dengan harapan mewarisi
keunggulan dari kedua penduga penyusunnya. Penduga Liu didefinisikan sebagai
berikut (Li dan Yang 2012).
β� L (d) = (X'X + I)-1 (X'X + dI)β� ; 0 < d < 1
(3)
-1
�
dengan β = (X'X) X'y.
Menurut Yang dan Chang (2012), kombinasi dari penduga Liu (persamaan 3)
dan penduga regresi gulud (persamaan 2) disebut sebagai penduga dua parameter.
Penduga dua parameter didefinisikan sebagai berikut.
(4)
β� p (k,d) = β� (k,d) = (X'X + I)-1 (X'X + dI)(X'X + kI)-1 X'y
dengan penduga regresi komponen utama,
β� r (0,1) = Tr (Tr 'X'XTr )-1 Tr 'X'y
(5)
4
sehingga mengombinasikan penduga dua parameter (persamaan 4) dalam cakupan
regresi komponen utama (persamaan 5) menghasilkan penduga komponen utama
dua parameter (KUDP) sebagai penduga yang lebih baik dari penduga regresi
komponen utama (RKU). Penduga KUDP didefinisikan sebagai berikut.
β� r (k,d) = Tr Tr 'β� (k,d) = Tr Tr '(X'X + I)-1 (X'X + dI) (X'X + kI)-1 X'y
= Tr (Tr 'X'XTr + Ir )-1 (Tr 'X'XTr + dIr ) (Tr 'X'XTr + kIr )-1 Tr 'X'y (6)
dengan
k > 0 dan 0 < d < 1
T = (t1 , t2 , … , tp ) = (Tr ,Tp-r ) adalah matriks ortogonal berukuran pxp yang
merupakan vektor ciri matriks X'X yang bersesuaian dengan akar ciri X'X
dengan
Λr
0
�Tr ,Tp-r �′X'X�Tr ,Tp-r � = Λ = � 0 Λ � ; 0 < r ≤ p
p-r
Λ = diag (λ1 , λ2 , λ3 , …, λp )
Λr = diag (λ1 , λ2 , λ3 , …, λr )
(λr+1 , λr+2 ,DAN
λr+3 , …,
λp-r )
Λp-r = diag BAHAN
METODE
λ1 ≥ λ2 ≥ … ≥ λp > 0 adalah akar ciri dari X'X yang sudah terurut.
BAHAN DAN METODE
Bahan
Data yang digunakan pada penelitian ini adalah data simulasi hasil bangkitan
menggunakan software R 3.0.2 dengan algoritma simulasi yang mengacu pada
Yang dan Chang (2011). Kajian pada sebuah contoh kasus bertujuan untuk melihat
implikasi dari simulasi. Data yang digunakan pada contoh kasus adalah suatu data
riil dari riset Badan Penelitian dan Pengembangan Kesehatan (Balitbangkes)
Kementrian Kesehatan RI pada 33 provinsi di Indonesia yang dimuat dalam
Laporan Hasil Riset Kesehatan Dasar (Riskesdas) tahun 2010.
Data peubah respon (Y) dan peubah-peubah penjelas (X) yang digunakan
sebagai contoh kasus didefinisikan sebagai berikut.
Y : Prevalensi status gizi buruk anggota rumahtangga usia 16-18 tahun
X1 : Persentase rata-rata kecukupan konsumsi energi
X2 : Persentase rata-rata kecukupan konsumsi energi (