Analisis penerapan metode kuadrat terkecil dan regresi komponen utama dalam multikolinearitas
ANALISIS PENERAPAN METODE KUADRAT TERKECIL DAN
REGRESI KOMPONEN UTAMA DALAM
MULTIKOLINEARITAS
OLEH :
GUGUN M. SIMATUPANG
PROGRAM PASCASARJANA
INSTITUT PERTANIAN BOGOR
2002
ABSTRAK
GUGUN M. SIMATUPANG. Analisis Penerapan Metode Kuadrat Terkecil
(MKT) dan Regresi Komponen Utarna Dalam Multikolinearitas. Dibimbing oleh
BUD1 SUSETYO dan BAMBANG JUANDA.
Masalah pendugaan parameter dalam analisis regresi linier berganda sering
menjadi topik yang menarik dalam beberapa penelitian. Timbul masalah antara lain
multikolinearitas diantara peubah-peubah bebas. Dengan MKT akan terlihat efeknya
yaitu tingginya koefisien deterrninasi tidak diikuti dengan konsistensi hipotesis, tanda
koefisien regresi setelah dimodelkan dan perubahan kesignifikan bila masing-masing
dan bersama-sama dimasukkan dalam model. Keadaan ini akan mempengaruhi dalam
penafsiran model regresi bila memerlukan kajian lebih lanjut. Berdasarkan kenyataan
ini, dilakukan suatu kajian dengan berbagai jumlah data untuk mengetahui dan
memberikan garnbaran kepada pengguna seberapa besar peluang perubahan tanda
peubah bebas juga kesignifikan koefisien regresi sebagai efek dari penerapan MKT
bila terjadi multikolinearitas diantara peubah bebas dan solusi penerapan regresi
komponen utama. Kajian ini dilakukan dengan menggunakan data simulasi.
Ukuran contoh yang digunakan dalam simulasi adalah n=10,20,25,30 dan 40
dengan lima peubah bebas saling berkorelasi dan satu peubah tak bebas. Masingmasing dilakukan simulasi sebanyak lima puluh kali. Hasil dari penelitian ini
menunjukkan bahwa secara rata-rata peluang berubahnya tanda peubah bebas dengan
MKT sebesar 0,228 ; analisis regresi komponen utama sebesar 0,118 dan peluang
salah kesignifikan koefisien regresi dengan MKT sebesar 0,296. Hasil dari penelitian
ini juga menunjukkan bahwa semakin banyak jumlah data, peluang berubahnya tanda
peubah bebas dan peluang salah kesignifikan koefisien regresi semakin kecil.
SURAT PERNYATAAN
Dengan ini saya menyatakan bahwa Tesis yang berjudul :
"Analisis Penerapan Metode Kuadrat Terkecil dan Regresi Komponen
Utama dalam Multikolinearitas "
Adalah benar merupakan hasil karya saya sendiri dan belum pernah dipublikasikan.
Semua sumber data dan informasi yang digunakan telah dinyatakan secara jelas dan
dapat diperiksa kebenarannya.
Bogor, Maret 2002
Nrp. 99158
ANALISIS PENERAPAN METODE KUADRAT TERKECIL DAN
REGRESI KOMPONEN UTAMA DALAM
MULTIKOLINEARITAS
Gugun M. Simatupang
Tesis
sebagai salah satu syarat untuk memperoleh gelar
pada
Magister Sains
Program Studi Statistika
PROGRAM PASCASARJANA
INSTITUT PERTANIAN BOGOR
2002
Judul Tesis
: Analisis Penerapan Metode Kuadrat Terkecil dan Regresi
Komponen Utama dalam Multikolinearitas
Nama
: Gugun Mar~osorSimatupang
NRP
: 99158
Program Studi :
Statistika
Menyetujui :
1. Komisi Pembimbing
Ketua
Dr. Ir. Bambang Juanda, M.S.
Anggota
ogram Pascasarjana
frida Manuwoto, M.Sc.
Tanggal lulus : 27 Maret 2002
Dipersembahkan untuk
Isteri dan Anak tercirzta :
rtlza Luciana ,Nicolas EW., Ratu DG.)
Ayalt anda dan Ibunda :
RIWAYAT HIDUP
Penulis dilahirkan tanggal 11 November 1964 di Doloksanggul
-
Tapanuli
Utara, anak kelima dari sembilan bersaudara. Anak dari pasangan Aden Willem
Simatupang dan Ramianna Br. Sihite (Almarhumah).
Pada tahun 1977, penulis lulus SD Negeri 1 Doloksanggul, tahun 1980 lulus
SMP Negeri 1 Doloksanggul, tahun 1983 lulus SMA Negeri 1 Doloksanggul. Pada
tahun yang sama penulis diterima di Fakultas Matematika dan Ilmu Pengetahuan
Alam (FMIPA) Universitas Sumatera Utara (USU) Medan melalui jalur PMDK.
Penulis lulus S-1 tangga 27 juli 1989. Pada tahun 1998, penulis mengikuti program
pra-pascasarjana, bidang studi statistika di IPB dengan biaya URGE. Tahun 1999,
penulis diterima sebagai mahasiswa program pascasarjana (S-2) pada program studi
statistika di IPB dengan biaya BPPS-Dikti.
Riwayat pekerjaan, tahun 1988 sampai dengan tahun 1991 penulis sebagai
tenaga pengajar di Fakultas Teknik Universitas Darma Agung (UDA) Medan.
Pertengahan tahun 1991 penulis diangkat sebagai tenaga pengajar pada jurusan
Pendidikan Matematika FKIP Universitas ~ A b i .
Tanggal 19 Februari 1993 penulis menikah dengan Martha Luciana Br.
Lumban Tobing, putri dari bapak CL. Tobing, Ibu R.Br. Sitompul, sarnpai sekarang
telah dikaruniai dua orang putralputri yang bernarna Nicolas Exe Walter Simatupang
(9 tahun) dan Ratu Dara Glory Br. Simatupang (6 tahun)
PRAKATA
Puji dan syukur penulis panjatkan kehadirat Tuhan yang Maha pemurah dan
Agung, karena berkat kasih dan karuniaya penulis dapat menyelesaikan penyusunan
tesis yang berjudul : " Analisis penerapan metode kuadrat terkecil dan metode
komponen utama dalam multikolinearitas ". Tesis ini dimaksudkan sebagai salah satu
syarat memperoleh gelar Magister Sains pada program Studi Statistika, Pasca sarjana
IPB.
Pada kesempatan ini, dengan penuh rasa hormat penulis mengucapkan terima
kasih atas bimbingan dan fasilitas yang telah diberikan. Secara khusus penulis
mengucapkan terima kasih kepada :
1. Bapak Dr. Ir. Budi Susetyo, M.S. selaku ketua komisi pembimbing dan bapak
Dr. Ir. Bambang Juanda, M.S. selaku anggota komisi pembimbing, yang telah
memberikan birnbingan, arahan serta dorongan yang sangat berharga selama
penulis dibimbing.
2. Rektor IPB, Direktur Program Pascasarjana, Ketua Program Studi Statistika dan
ketua pengelola beasiswa BPPS beserta seluruh staf yang telah memberikan
kesempatan kepada penulis untuk menuntut ilmu pada Program Pascasarjana IPB.
3. Rektor Universitas Jambi, Dekan FKIP-Unja dan Ketua Jurusan PMIPA FKIP-
Unja, yang telah memberi kesempatan kepada penulis untuk dapat menimba ilmu
di IPB.
4. Bapak dan Ibu dosen program studi Statistika beserta seluruh staf yang telah
memberikan ilmu dan pelayanannya kepada penulis.
5. Istri dan anak atas doa, pengertian dan dorongan yang sangat tulus dengan setia
mendampingi penulis selama men~ikutipendidikan.
6. Orang t u a e r t u a , AbangIKakak, Adik beserta seluruh keluarga atas segala doa,
bantuan yang diberikan selama penulis mengikuti pendidikan.
7. Rekan-rekan mahasiswa program studi statistika, khususnya angkatan '99 atas
segala saran dan bantuan yang diberikan selama penulis menuntut ilmu di IPB,
serta semua pihak yang tidak dapat disebut satu persatu pada tulisan ini.
Semoga Tuhan Yang Maha Kasih dan Pemurah memberikan berkat yang
berlipat ganda, atas segala bimbingan dan kebaikan yang diberikan. Semoga tesis ini
dapat bermamfaat bagi yang memerlukannya.
Bogor,
Maret 2002
Penulis
DAFTAR IS1
Halaman
DAFTAR TABEL
.........................................................................................
DAFTAR GAMBAR
..................................................................................
vii
DAFTAR LAMPIRAN
.................................................................................
Vlll
PENDAHULUAN .......................................................................................
Latar belakang
.....................................................................................
Batasan Masalah ...................................................................................
Tujuan Penelitian ..................................................................................
TINJAUAN PUSTAKA ...............................................................................
Analisis Regresi Linier Berganda ..........................................................
Metode Kuadrat Terkecil (MKT) ..........................................................
Multikolinearitas ....................................................................................
Analisis Komponen Utama ..................................................................
Analisis Regresi Komponen Utama ......................................................
METODE PENELITIAN .............................................................................
Surnber Data ...........................................................................................
Metode Analisis ....................................................................................
HASIL DAN PEMBAHASAN .....................................................................
Hasil Pengolahan Data Simulasi ..........................................................
Hasil- 1 ............................................................................................
Hasil-2 ............................................................................................
Hasil-3 ............................................................................................
Contoh Kasus ..........................................................................................
Penyelesaian dengan Metode Kuadrat Terkecil (MKT) ...................
Penyelesaian dengan Metode Regresi Komponen Utama ..............
Pembandingan Hasil MKT dengan Komponen Utama .........................
KESIMPULAN DAN SARAN ....................................................................
.........................................................................................
Kesimpulan
Saran .....................................................................................................
DAFTAR PUSTAKA
LAMPIRAN
.................................................................................
...............................................................................................
...
DAFTAR TABEL
Halaman
1. Contoh penyajian tanda dan penghitungan peluang benarlsalah dari
persamaan regresi linier berganda menggunakan MKT vs matriks
korelasi .......................................................................................................
19
2. Contoh penyajian hasil pengujian hipotesis dan penghitungan peluang
benarlsalah terhadap koefisien regresi linier sederhana vs linier berganda
dengan MKT .............................................................................................
20
3. Contoh penyajian tanda dan penghitungan peluang benarlsalah dari
persamaan regresi komponen utama vs matriks korelasi .........................
22
4.
Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan
regresi linier berganda dengan MKT vs matriks korelasi ........................
26
Rata-rata penghitungan peluang perubahan hasil pengujian hipotesis
koefisien regresi pada persamaan regresi linier sederhana vs regresi
linier berganda dengan MKT ...................................................................
29
6 . Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan
regresi komponen utama vs matriks korelasi ...........................................
31
.........................................
33
8. Sidik ragarn regresi kuadrat terkecil ........................................................
33
9. Nilai R; d m VIF(bi) dari penduga bi .......................................................
34
.....................
34
5
7.
Pendugaan parameter regresi kuadrat terkecil
10. Matriks korelasi antar peubah bebas dan peubah talc bebas
11. Nilai akar ciri untuk contoh kasus
............................................................
12. Nilai vektor ciri untuk contoh kasus
........................................................
13. Nilai skor komponen utama untuk contoh kasus
....................................
14. Pengujian koefisien regresi secaraparsial (berdasarkan pendekatan analisis
regresi komponen utarna) .........................................................................
37
37
38
42
DAFTAR GAMBAR
Halaman
1.
Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan
regresi linier berganda dengan MKT dibandingkan terhadap hasil
matriks korelasi ......................................................................................
25
2. Diagram kotak garis peluang tidak berubahnya kesignifikan koefisien
regresi linier sederhana dibandingkan linier berganda dengan MKT ....
27
3. Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan
regresi komponen utarna dibandingkan terhadap hasil matriks korelasi .........
30
DAFTAR LAMPIRAN
Halaman
1. Hasil-1 : Peluang benarlsalah (tidak berubahlberubah) tanda peubah
bebas hasil matriks korelasi dan regresi linier berganda dengan MKT ..........
49
2. Hasil-2 : Peluang benarlsalah (tidak berubahlberubah) kesignifikan
koefisien regresi linier sederhana dan regresi linier berganda dengan
MKT ..................................................................................................
50
3. Hasil-3 :Peluang benarlsalah (tidak berubah/berubah) tanda peubah
bebas hasil matriks korelasi dan regresi komponen utama ...............
51
............................................................
52
4. Data contoh kasus (data asli)
5. Data contoh kasus (data pembakuan) ...............................................
6 . Makro pembangkitan data simulasi
....................................
52
53
PENDAHULUAN
Latar Belakang
Secara umum jika ada satu peubah tak bebas tergantung pada satu atau
beberapa peubah bebas maka hubungan diantara peubah ini dapat dicirikan melalui
model yang disebut model regresi. Sudah barang tentu sebelum diperoleh model
persamaan regresi tersebut telah melalui suatu proses antara lain, spesifikasi atau
identifikasi model, penentuan atau pendugaan nilai parameter model termasuk
pemilihan model yang baik (seleksi model) dan pengujian terhadap model. Dengan
demikian peubah-peubah yang terdapat dalam persamaan regresi yang terbentuk
merupakan suatu hubungan yang dirancang sedemikian rupa untuk tujuan
memberikan jawaban bagi permasalahan yang ingin dimodelkan.
Model regresi mempunyai tiga tujuan penting, yaitu ; (1) Mendeskripsikan
model yang menjelaskan hubungan antara peubah tak bebas (respons) dengan peubah
bebas (prediktor) sehingga dapat dikaji lebih jauh tentang proses yang menghasilkan
nilai koefisien regresi ; (2) Untuk mengetahui kontribusi relatif dari setiap peubah
bebas dalam menjelaskan peubah tak bebas ; (3) Untuk memprediksi nilai peubah
tak bebas dari beberapa nilai peubah bebas. Ketiga tujuan tersebut biasanya
digunakan model regresi linier sederhana maupun berganda.
Masalah pendugaan parameter dalam analisis regresi berganda sering menjadi
topik yang menarik dalam beberapa penelitian, khususnya penelitian yang sangat
memperhatikan tujuan yang kedua di atas. Ada beberapa masalah yang dapat timbul
dalam
regresi,
salah
satu
diantaranya adalah
masalah
multikolinearitas.
Multikolinearitas pada regresi berganda terjadi karena korelasi yang tinggi diantara
peubah bebas. Kondisi ini penting sekali diperhatikan untuk penerapan metode
kuadrat terkecil (MKT) dalam pendugaan koefisien regresi (penduga parameter).
Pada prinsipnya multikolinearitas mempunyai arti bahwa terdapatnya suatu
hubungan linier di antara beberapa atau semua peubah bebas dari suatu model
regresi. Di dalam praktek, besar kemungkinannya menemukan peubah-peubah bebas
yang saling berkorelasi (Neter et al, 1990). Kenyataan bahwa sebagian atau semua
peubah bebas saling berkorelasi, dengan MKT tidaklah menghalangi memperoleh
fungsi regresi dugaan yang pas ataupun mempengaruhi inferensi tentang rataan
peubah tak bebas atau peramalan amatan-amatan baru, asalkan inferensi tersebut
dilakukan di dalam daerah amatan. Akan tetapi multikolinearitas yang tinggi akan
mengakibatkan koefisien-koefisien regresi dugaan cenderung memiliki keragaman
penarikan contoh yang besar, artinya koefisien regresi dugaannya cenderung
bervariasi sangat besar dari contoh satu ke contoh lainnya. Akibatnya tidak diperoleh
informasi yang tepat mengenai koefisien regresi yang sebenarnya (populasi). Bahkan
bisa jadi masing-masing koefisien regresi secara linier tidak nyata walaupun antara
peubah tak bebas dan peubah bebas terdapat hubungan linier yang nampak jelas.
Secara teori tanda hubungan linier sebenarnya diantara peubah bebas dengan
peubah tak bebas dapat dilihat pada matriks korelasi. Masalah tanda dari model
regresi bagi penelitian bidang tertentu misalnya penelitian ekonomi, industri, biologi
dan yang lainnya merupakan ha1 yang sangat diperhatikan, karena dalam kenyataan
riil bahwa pengaruh peubah bebasnya bertanda positip atau dispesifikasikan untuk
meningkatkan nilai harapan dari model regresi yang dibangun, tetapi ternyata setelah
dimodelkan berubah tanda menjadi negatip atau sebaliknya.
Multikolinearitas diantara peubah-peubah bebas juga akan mempengaruhi
pengujian koefisien regresi dimana uji pengaruh marjinal peubah
bebas secara
bersama-sama tidak setara dengan pengujian apakah ada hubungan regresi antara
peubah tak bebas dengan masing-masing peubah bebas, karena model tereduksi untuk
masing-masing uji tersebut mengandung pengaruh salah satu peubah bebas yang lain
(Neter et al, 1990). Dengan menggunakan MKT akan terlihat efek dari
multikolinearitas yaitu tingginya koefisien determinasi tidak diikuti dengan hasil uji
hipotesis yang nyata dari koefisien-koefisien regresi. Keadaan ini disebabkan karena
besarnya koefisien determinasi tidak didukung oleh kecilnya raganl koefisien regresi
tersebut (Martens & Naes, 1989), sehingga adanya multikolinearitas diantara peubah
bebas mengakibatkan galat baku dari koefisien regresi menjadi bertambah besar,
implikasinya statistik t yang didefinisikan sebagai rasio antara koefisien regresi dan
galat bakunya menjadi lebih kecil.
Dalaln model regresi, interpretasi dari masing-masing koefisien regresi adalah
perubahan rata-rata peubah respons (y) jika peubah penjelas xi tersebut berubah satu
unit dan peubah penjelas lainnya tetap (ceteris paribus). Dengan demikian jika ada
multikolinearitas, yaitu ada korelasi antar peubah penjelas maka asumsi ceteris
paribus tidak berlaku sehingga sulit memisahkan pengaruh dari masing-masing
peubah penjelas, dan ini juga diindikasikan dari hasil analisis pada pengujian
hipotesis yang tidak signifikan dan terjadinya perubahan tanda dari peubah
penjelasnya.
Berdasarkan uraian di atas, dalam penelitian ini dikaji pengaruh
multikolinearitas tersebut dengan penerapan MKT dan metode analisis regresi
komponen utama
dengan berbagai jumlah data observasi (n). Hasil kajian ini
diharapkan dapat memberikan gambaran bagi pengguna sebagai bahan pertimbangan
dalam penafsiran model dari objek yang diamati sesuai dengan tujuan model regresi
yang ingin dicari pola hubungannya.
Batasan Masalah
Pada penelitian ini hanya dilakukan pengkajian efek dari penerapan MKT,
khususnya bagi penelitian yang sangat memerlukan kajian lebih lanjut dari model
regresi apabila terjadi multikolinearitas antar peubah bebas dengan berbagai jumlah
data dan solusi penerapan metode komponen utama.
Tujuan Penelitian
Penelitian pengkajian efek penerapan MKT apabila terjadi multikolinearitas
pada peubah bebas, mempunyai tujuan sebagai berikut :
1. Mengkaji efek penerapan MKT apabila terjadi multikolinearitas dengan berbagai
jumlah data.
2. Membandingkan hasil regresi linier berganda dengan MKT dan regresi komponen
utama dalam ha1 perubahan tanda peubah bebas.
TINJAUAN PUSTAKA
Analisis Regresi Linier Berganda
Analisis regresi merupakan suatu teknik statistika untuk menyelidiki dan
memodelkan hubungan diantara peubah-peubah, yaitu peubah tak bebas (respon) dan
peubah bebas (prediktor). Analisis ini digunakan dalam berbagai bidang ilmu.
Diantara model-model regresi, model regresi linier merupakan model yang paling
sederhana dan paling sering digunakan. Suatu model linier adalah sebuah fungsi linier
dalam parameter Po,P1,...,P,
(Myers & Milton, 1991). Model regresi yang
mempunyai lebih dari satu peubah bebas dan linier dalam koefisiennya disebut model
regresi linier berganda yang dinyatakan sebagai berikut :
Y i
=PO+PI',,
+P2'12
+ a * . +
Pnl'inl
+ E l
(la)
dengan : yi adalah peubah tak bebas ;xij adalah peubah bebas ke-j pada ulangan ke-i
;Ei adalah sisaan atau galat ; pj adalah koefisien regresi ;i = 1,2, ...,n dan n > m+l
;J = 1,2,...,,m.
Anaiisis regresi digunakan untuk mempelajari hubungan antara sepasang
peubah atau lebih, dan terutama untuk menelusuri pola hubungan yang modelnya
belum diketahui- dengan sempurna sehingga dalam penerapannya lebih bersifat
eksploratif dan mengakar pada pendekatan empirik (Aunuddin, 1989).
Metode Kuadrat Terkecil (MKT)
Model persamaan regresi (la) secara umum dapat ditulis dalam notasi matriks
sebagai berikut :
y = x p-+ g
y-
= Vektor peubah tak
bebas (nxl)
X
= Matriks peubah bebas (nxk)
p- = Vektor penduga parameter (kxl)
g
= Vektor
sisadgalat (nxl)
- ) = 0, var(5 ) = 021dan unsur-unsur E tidak berkorelasi.
Dengan E(E
- , sehingga kuadrat galatnya adalah :
Karena E(g ) = 0 maka E( y- ) = X p
Dengan meminimumkan jumlah kuadrat galat diperoleh
dimana
/? sebagai berikut :
adalah penduga yang memenuhi sifat linier, tidak berbias dan memiliki
ragam minimum (Myers & Milton, 1991).
Pada analisis regresi, salah satu tujuan yang ingin dicapai adalah pengujian
hipotesis terhadap koefisien regresi. Tujuan dari hipotesis inj adalah untuk
mengetahui kontribusi relatif dari peubah bebas. Pada MKT, pengujian hipotesis
tersebut biasanya menggunakan uji t. Adapun bentuk hipotesis statistiknya jika yang
ingin diuji Po adalah :
Secara eksplisit, uji terhadap hipotesis di atas didasarkan pada statistik uji :
Kaidah keputusan dalam pengujian ini bila taraf nyata ditetapkan sebesar a adalah
I I
Jika thir
'(1-a/2;n-2)
' terima Ho. Dan jika tidak maka terima HI.
Multikolinearitas
Masalah multikolinearitas muncul ketika terdapat korelasi diantara peubah
bebasnya, sehingga ha1 ini akan mempengaruhi ragam dari penduga kuadrat terkecil
dan pendugaan model yang dibuat (Wetherill, 1986).
Multikolinearitas bukanlah suatu kesalahan pemodelan, tetapi suatu kondisi
data yang tidak sempurna, sehingga sangatlah penting untuk menyadari kehadiran
multikolinearitas (Chatterjee & Price, 1977).
Hal senada menurut Belsley et al, (1980) bahwa multikolinearitas adalah
masalah data bukan masalah statistik. Akan tetapi dalam interpretasi dari model
regresi yang terbentuk atau yang ingin dicari menimbulkan konsekuensi.
Konsekuensi dari multikolinearitas dalam analisis regresi tersebut adalah ragam dan
peragam dari penduga kuadrat terkecil menjadi lebih besar, selang kepercayaan bagi
penduga parameter menjadi lebih lebar dan galat baku dari koefisien regresi menjadi
bertambah besar sehingga statistik t yang didefenisikan sebagai rasio antara penduga
dan galat baku koefisien penduga menjadi lebih kecil. Untuk menjelaskan ha1 ini,
maka misalkan model regresi linier berganda berikut :
Y
=Po + P I X ,+ P 2 ~ 2+ E
(14
Dengan mengasumsikan peubah galat (sisaan) memiliki sifat-sifat : E[&]=O,
- 2
Var[&21-0
, COV[E~,
cj]= E[Q, E~]=O,untuk i#j, maka persamaan regresi diatas dapat
diduga dengan MKT yang menghasilkan koefisien regresi bl dan b2 sebagai penduga
tak bias bagi parameter PI dan p2. Selanjutnya dengan mendefenisikan peubah xl dan
xz dalam bentuk simpangan terhadap nilai rataannya, maka berdasarkan MKT
diperoleh :
dimana
1-12
adalah koefisien korelasi antara peubah bebas xl dan x2 (Dillon &
Goldstein, 1984).
Dengan demikian dari persamaan (2c), (3c) dan (4c) tampak secara jelas apabila 1-12
mendekati 1, maka penyebutnya akan menjadi kecil dan apabila sarna dengan 1
persamaan menjadi tidak dapat ditentukan, karena penyebutnya akan sama dengan
no1 dan dalam kasus pembagian dengan no1 memberikan hasil yang tidak terdefenisi,
sehingga Var[bl], Var[b2] dan Cov[bl,b2] menjadi tidak terdefenisi apabila terjadi
korelasi linier secara sempurna diantara peubah-peubah bebas x. Sebaliknya apabila
peubah-peubah x bersifat ortogonal, dimana 1-12 = 0, maka Cov[bl,b2] = 0 dan Var[bl]
= 02/&12, Var[b2] = 02/C~22.
Dan juga penafsiran koefisien regresi sebagai tolak ukur perubahan nilai
harapan peubah tak bebas bila peubah bebas padanannya naik satu satuan sedangkan
semua peubah bebas lainnya konstan tidak lagi sepenuhnya berlaku. Meskipun secara
konseptual bisa divariasikan salah satu peubah bebas pada saat yang sama
mempertahankan peubah-peubah lain tetap (konstan). Namun di dalam praktek tidak
mungkin melakukannya untuk peubah-peubah bebas yang berkorelasi tinggi.
Misalnya, model regresi untuk maramalkan hasil panen dari banyaknya curah hujan
d m jumlah jam sinar matahari, hubungan antara kedua peubah bebas tersebut tidak
mungkin diubah-ubah sementara yang lain dibuat konstan. Jadi bila peubah-peubah
bebas saling berkorelasi, koefisien salah satu peubah bergantung pada peubah lain
mana yang dimasukkan ke dalam model dan mana yang tetap di luar model. Dengan
demikian koefisien regresi tidak mencerminkan pengaruh inheren suatu peubah bebas
terhadap peubah tak bebas, melainkan pengaruh marjinal atau parsial, bila diketahui
peubah bebas lain telah ada di dalam model. Kondisi demikian juga mempengaruhi
tanda peubah-peubah bebas terhadap peubah tak bebasnya yang digambarkan oleh
tanda dari koefisien regresi bisa berubah-ubah apabila masing-masing peubah dan
secara bersamaan dimasukkan kedalam model (Neter et al, 1990).
Indikasi adanya masalah kekolinearan ganda yang serius ditunjukkan oleh
diagnostik-diagnostikinformal sebagai berikut :
1. Terjadi perubahan besar koefisien regresi dugaan bila suatu peubah bebas
ditambahkan atau dibuang, atau bila suatu amatan diubah atau dibuang.
2.
Uji-uji individu terhadap koefisien regresi bagi peubah-peubah bebas penting
memberikan hasil yang tidak nyata.
3.
Tanda koefisien regresi dugaan yang diperoleh bertentangan dengan yang
diharapkan berdasarkan pertimbangan teoritis atau pengalaman-pengalaman
sebelumnya.
4. Koefisien regresi sederhana yang besar antara pasangan-pasangan peubah bebas
di dalam matriks korelasi rxx.
5.
Selang kepercayaan yang lebar bagi koefisien regresi peubah bebas yang penting.
Metoda informal di atas memiliki sejumlah keterbatasan, yaitu tidak
memberikan ukuran kuantitatif tentang dampak kekolinearan ganda, tidak mampu
mengidentifikasi sifat kekolinearan ganda dan adakalanya perilaku yang teramati
terjadi tanpa adanya kekolinearan ganda.
Melihat keterbatasan di atas, suatu metode formal untuk mendeteksi adanya
kekolinearan ganda yang banyak digunakan adalah melalui faktor inflasi ragam
(Variance Inflation Factor [VIF]). VIF yaitu pengukuran multikolinearitas untuk
peubah bebas ke-i. VIF dihitung dari matriks korelasi peubah bebas yang telah
dibakukan satuannya. VIF adalah salah satu faktor yang mengukur seberapa besar
kenaikan ragam dari koefisien regresi dibandingkan terhadap peubah bebas yang
ortogonal jika dihubungkan secara linier (Fox & Monette, 1992). Nilai VIF akan
semakin besar jika terdapat korelasi yang semakin besar diantara peubah-peubah
bebas. VIF yang melebihi sepuluh
bisa digunakan sebagai petunjuk adanya
kolinearitas (Neter et al, 1990). Hubungan antara VIFi dan kolinearitas adalah melalui
rumus :
R:
= koefisien
determinasi ganda bila xi diregresikan terhadap p-2 peubah x lainnya
di dalam model. Multikolinearitas dikatakan serius bila VIF lebih besar dari 10
(Rawling et al, 1988).
Analisis Komponen Utama
Misalkan suatu peubah acak x = (xl,xz,...,x,) yang terdiri dari p peubah yang
mengikuti sebaran peubah ganda tertentu dengan vektor nilai tengah p dan matriks
ragam peragam S atau matriks korelasi R. Kedua matriks tersebut berguna dalam
perhitungan nilai akar ciri (Aj) dan vektor ciri (aj).
Dari p buah peubah asal tadi dapat diturunkan p buah komponen utarna untuk
menerangkan keragaman total sistem, dan seringkali keragaman total itu dapat
diterangkan secara memuaskan oleh sejumlah kecil komponen utama, misal k buah
komponen dimana k
REGRESI KOMPONEN UTAMA DALAM
MULTIKOLINEARITAS
OLEH :
GUGUN M. SIMATUPANG
PROGRAM PASCASARJANA
INSTITUT PERTANIAN BOGOR
2002
ABSTRAK
GUGUN M. SIMATUPANG. Analisis Penerapan Metode Kuadrat Terkecil
(MKT) dan Regresi Komponen Utarna Dalam Multikolinearitas. Dibimbing oleh
BUD1 SUSETYO dan BAMBANG JUANDA.
Masalah pendugaan parameter dalam analisis regresi linier berganda sering
menjadi topik yang menarik dalam beberapa penelitian. Timbul masalah antara lain
multikolinearitas diantara peubah-peubah bebas. Dengan MKT akan terlihat efeknya
yaitu tingginya koefisien deterrninasi tidak diikuti dengan konsistensi hipotesis, tanda
koefisien regresi setelah dimodelkan dan perubahan kesignifikan bila masing-masing
dan bersama-sama dimasukkan dalam model. Keadaan ini akan mempengaruhi dalam
penafsiran model regresi bila memerlukan kajian lebih lanjut. Berdasarkan kenyataan
ini, dilakukan suatu kajian dengan berbagai jumlah data untuk mengetahui dan
memberikan garnbaran kepada pengguna seberapa besar peluang perubahan tanda
peubah bebas juga kesignifikan koefisien regresi sebagai efek dari penerapan MKT
bila terjadi multikolinearitas diantara peubah bebas dan solusi penerapan regresi
komponen utama. Kajian ini dilakukan dengan menggunakan data simulasi.
Ukuran contoh yang digunakan dalam simulasi adalah n=10,20,25,30 dan 40
dengan lima peubah bebas saling berkorelasi dan satu peubah tak bebas. Masingmasing dilakukan simulasi sebanyak lima puluh kali. Hasil dari penelitian ini
menunjukkan bahwa secara rata-rata peluang berubahnya tanda peubah bebas dengan
MKT sebesar 0,228 ; analisis regresi komponen utama sebesar 0,118 dan peluang
salah kesignifikan koefisien regresi dengan MKT sebesar 0,296. Hasil dari penelitian
ini juga menunjukkan bahwa semakin banyak jumlah data, peluang berubahnya tanda
peubah bebas dan peluang salah kesignifikan koefisien regresi semakin kecil.
SURAT PERNYATAAN
Dengan ini saya menyatakan bahwa Tesis yang berjudul :
"Analisis Penerapan Metode Kuadrat Terkecil dan Regresi Komponen
Utama dalam Multikolinearitas "
Adalah benar merupakan hasil karya saya sendiri dan belum pernah dipublikasikan.
Semua sumber data dan informasi yang digunakan telah dinyatakan secara jelas dan
dapat diperiksa kebenarannya.
Bogor, Maret 2002
Nrp. 99158
ANALISIS PENERAPAN METODE KUADRAT TERKECIL DAN
REGRESI KOMPONEN UTAMA DALAM
MULTIKOLINEARITAS
Gugun M. Simatupang
Tesis
sebagai salah satu syarat untuk memperoleh gelar
pada
Magister Sains
Program Studi Statistika
PROGRAM PASCASARJANA
INSTITUT PERTANIAN BOGOR
2002
Judul Tesis
: Analisis Penerapan Metode Kuadrat Terkecil dan Regresi
Komponen Utama dalam Multikolinearitas
Nama
: Gugun Mar~osorSimatupang
NRP
: 99158
Program Studi :
Statistika
Menyetujui :
1. Komisi Pembimbing
Ketua
Dr. Ir. Bambang Juanda, M.S.
Anggota
ogram Pascasarjana
frida Manuwoto, M.Sc.
Tanggal lulus : 27 Maret 2002
Dipersembahkan untuk
Isteri dan Anak tercirzta :
rtlza Luciana ,Nicolas EW., Ratu DG.)
Ayalt anda dan Ibunda :
RIWAYAT HIDUP
Penulis dilahirkan tanggal 11 November 1964 di Doloksanggul
-
Tapanuli
Utara, anak kelima dari sembilan bersaudara. Anak dari pasangan Aden Willem
Simatupang dan Ramianna Br. Sihite (Almarhumah).
Pada tahun 1977, penulis lulus SD Negeri 1 Doloksanggul, tahun 1980 lulus
SMP Negeri 1 Doloksanggul, tahun 1983 lulus SMA Negeri 1 Doloksanggul. Pada
tahun yang sama penulis diterima di Fakultas Matematika dan Ilmu Pengetahuan
Alam (FMIPA) Universitas Sumatera Utara (USU) Medan melalui jalur PMDK.
Penulis lulus S-1 tangga 27 juli 1989. Pada tahun 1998, penulis mengikuti program
pra-pascasarjana, bidang studi statistika di IPB dengan biaya URGE. Tahun 1999,
penulis diterima sebagai mahasiswa program pascasarjana (S-2) pada program studi
statistika di IPB dengan biaya BPPS-Dikti.
Riwayat pekerjaan, tahun 1988 sampai dengan tahun 1991 penulis sebagai
tenaga pengajar di Fakultas Teknik Universitas Darma Agung (UDA) Medan.
Pertengahan tahun 1991 penulis diangkat sebagai tenaga pengajar pada jurusan
Pendidikan Matematika FKIP Universitas ~ A b i .
Tanggal 19 Februari 1993 penulis menikah dengan Martha Luciana Br.
Lumban Tobing, putri dari bapak CL. Tobing, Ibu R.Br. Sitompul, sarnpai sekarang
telah dikaruniai dua orang putralputri yang bernarna Nicolas Exe Walter Simatupang
(9 tahun) dan Ratu Dara Glory Br. Simatupang (6 tahun)
PRAKATA
Puji dan syukur penulis panjatkan kehadirat Tuhan yang Maha pemurah dan
Agung, karena berkat kasih dan karuniaya penulis dapat menyelesaikan penyusunan
tesis yang berjudul : " Analisis penerapan metode kuadrat terkecil dan metode
komponen utama dalam multikolinearitas ". Tesis ini dimaksudkan sebagai salah satu
syarat memperoleh gelar Magister Sains pada program Studi Statistika, Pasca sarjana
IPB.
Pada kesempatan ini, dengan penuh rasa hormat penulis mengucapkan terima
kasih atas bimbingan dan fasilitas yang telah diberikan. Secara khusus penulis
mengucapkan terima kasih kepada :
1. Bapak Dr. Ir. Budi Susetyo, M.S. selaku ketua komisi pembimbing dan bapak
Dr. Ir. Bambang Juanda, M.S. selaku anggota komisi pembimbing, yang telah
memberikan birnbingan, arahan serta dorongan yang sangat berharga selama
penulis dibimbing.
2. Rektor IPB, Direktur Program Pascasarjana, Ketua Program Studi Statistika dan
ketua pengelola beasiswa BPPS beserta seluruh staf yang telah memberikan
kesempatan kepada penulis untuk menuntut ilmu pada Program Pascasarjana IPB.
3. Rektor Universitas Jambi, Dekan FKIP-Unja dan Ketua Jurusan PMIPA FKIP-
Unja, yang telah memberi kesempatan kepada penulis untuk dapat menimba ilmu
di IPB.
4. Bapak dan Ibu dosen program studi Statistika beserta seluruh staf yang telah
memberikan ilmu dan pelayanannya kepada penulis.
5. Istri dan anak atas doa, pengertian dan dorongan yang sangat tulus dengan setia
mendampingi penulis selama men~ikutipendidikan.
6. Orang t u a e r t u a , AbangIKakak, Adik beserta seluruh keluarga atas segala doa,
bantuan yang diberikan selama penulis mengikuti pendidikan.
7. Rekan-rekan mahasiswa program studi statistika, khususnya angkatan '99 atas
segala saran dan bantuan yang diberikan selama penulis menuntut ilmu di IPB,
serta semua pihak yang tidak dapat disebut satu persatu pada tulisan ini.
Semoga Tuhan Yang Maha Kasih dan Pemurah memberikan berkat yang
berlipat ganda, atas segala bimbingan dan kebaikan yang diberikan. Semoga tesis ini
dapat bermamfaat bagi yang memerlukannya.
Bogor,
Maret 2002
Penulis
DAFTAR IS1
Halaman
DAFTAR TABEL
.........................................................................................
DAFTAR GAMBAR
..................................................................................
vii
DAFTAR LAMPIRAN
.................................................................................
Vlll
PENDAHULUAN .......................................................................................
Latar belakang
.....................................................................................
Batasan Masalah ...................................................................................
Tujuan Penelitian ..................................................................................
TINJAUAN PUSTAKA ...............................................................................
Analisis Regresi Linier Berganda ..........................................................
Metode Kuadrat Terkecil (MKT) ..........................................................
Multikolinearitas ....................................................................................
Analisis Komponen Utama ..................................................................
Analisis Regresi Komponen Utama ......................................................
METODE PENELITIAN .............................................................................
Surnber Data ...........................................................................................
Metode Analisis ....................................................................................
HASIL DAN PEMBAHASAN .....................................................................
Hasil Pengolahan Data Simulasi ..........................................................
Hasil- 1 ............................................................................................
Hasil-2 ............................................................................................
Hasil-3 ............................................................................................
Contoh Kasus ..........................................................................................
Penyelesaian dengan Metode Kuadrat Terkecil (MKT) ...................
Penyelesaian dengan Metode Regresi Komponen Utama ..............
Pembandingan Hasil MKT dengan Komponen Utama .........................
KESIMPULAN DAN SARAN ....................................................................
.........................................................................................
Kesimpulan
Saran .....................................................................................................
DAFTAR PUSTAKA
LAMPIRAN
.................................................................................
...............................................................................................
...
DAFTAR TABEL
Halaman
1. Contoh penyajian tanda dan penghitungan peluang benarlsalah dari
persamaan regresi linier berganda menggunakan MKT vs matriks
korelasi .......................................................................................................
19
2. Contoh penyajian hasil pengujian hipotesis dan penghitungan peluang
benarlsalah terhadap koefisien regresi linier sederhana vs linier berganda
dengan MKT .............................................................................................
20
3. Contoh penyajian tanda dan penghitungan peluang benarlsalah dari
persamaan regresi komponen utama vs matriks korelasi .........................
22
4.
Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan
regresi linier berganda dengan MKT vs matriks korelasi ........................
26
Rata-rata penghitungan peluang perubahan hasil pengujian hipotesis
koefisien regresi pada persamaan regresi linier sederhana vs regresi
linier berganda dengan MKT ...................................................................
29
6 . Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan
regresi komponen utama vs matriks korelasi ...........................................
31
.........................................
33
8. Sidik ragarn regresi kuadrat terkecil ........................................................
33
9. Nilai R; d m VIF(bi) dari penduga bi .......................................................
34
.....................
34
5
7.
Pendugaan parameter regresi kuadrat terkecil
10. Matriks korelasi antar peubah bebas dan peubah talc bebas
11. Nilai akar ciri untuk contoh kasus
............................................................
12. Nilai vektor ciri untuk contoh kasus
........................................................
13. Nilai skor komponen utama untuk contoh kasus
....................................
14. Pengujian koefisien regresi secaraparsial (berdasarkan pendekatan analisis
regresi komponen utarna) .........................................................................
37
37
38
42
DAFTAR GAMBAR
Halaman
1.
Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan
regresi linier berganda dengan MKT dibandingkan terhadap hasil
matriks korelasi ......................................................................................
25
2. Diagram kotak garis peluang tidak berubahnya kesignifikan koefisien
regresi linier sederhana dibandingkan linier berganda dengan MKT ....
27
3. Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan
regresi komponen utarna dibandingkan terhadap hasil matriks korelasi .........
30
DAFTAR LAMPIRAN
Halaman
1. Hasil-1 : Peluang benarlsalah (tidak berubahlberubah) tanda peubah
bebas hasil matriks korelasi dan regresi linier berganda dengan MKT ..........
49
2. Hasil-2 : Peluang benarlsalah (tidak berubahlberubah) kesignifikan
koefisien regresi linier sederhana dan regresi linier berganda dengan
MKT ..................................................................................................
50
3. Hasil-3 :Peluang benarlsalah (tidak berubah/berubah) tanda peubah
bebas hasil matriks korelasi dan regresi komponen utama ...............
51
............................................................
52
4. Data contoh kasus (data asli)
5. Data contoh kasus (data pembakuan) ...............................................
6 . Makro pembangkitan data simulasi
....................................
52
53
PENDAHULUAN
Latar Belakang
Secara umum jika ada satu peubah tak bebas tergantung pada satu atau
beberapa peubah bebas maka hubungan diantara peubah ini dapat dicirikan melalui
model yang disebut model regresi. Sudah barang tentu sebelum diperoleh model
persamaan regresi tersebut telah melalui suatu proses antara lain, spesifikasi atau
identifikasi model, penentuan atau pendugaan nilai parameter model termasuk
pemilihan model yang baik (seleksi model) dan pengujian terhadap model. Dengan
demikian peubah-peubah yang terdapat dalam persamaan regresi yang terbentuk
merupakan suatu hubungan yang dirancang sedemikian rupa untuk tujuan
memberikan jawaban bagi permasalahan yang ingin dimodelkan.
Model regresi mempunyai tiga tujuan penting, yaitu ; (1) Mendeskripsikan
model yang menjelaskan hubungan antara peubah tak bebas (respons) dengan peubah
bebas (prediktor) sehingga dapat dikaji lebih jauh tentang proses yang menghasilkan
nilai koefisien regresi ; (2) Untuk mengetahui kontribusi relatif dari setiap peubah
bebas dalam menjelaskan peubah tak bebas ; (3) Untuk memprediksi nilai peubah
tak bebas dari beberapa nilai peubah bebas. Ketiga tujuan tersebut biasanya
digunakan model regresi linier sederhana maupun berganda.
Masalah pendugaan parameter dalam analisis regresi berganda sering menjadi
topik yang menarik dalam beberapa penelitian, khususnya penelitian yang sangat
memperhatikan tujuan yang kedua di atas. Ada beberapa masalah yang dapat timbul
dalam
regresi,
salah
satu
diantaranya adalah
masalah
multikolinearitas.
Multikolinearitas pada regresi berganda terjadi karena korelasi yang tinggi diantara
peubah bebas. Kondisi ini penting sekali diperhatikan untuk penerapan metode
kuadrat terkecil (MKT) dalam pendugaan koefisien regresi (penduga parameter).
Pada prinsipnya multikolinearitas mempunyai arti bahwa terdapatnya suatu
hubungan linier di antara beberapa atau semua peubah bebas dari suatu model
regresi. Di dalam praktek, besar kemungkinannya menemukan peubah-peubah bebas
yang saling berkorelasi (Neter et al, 1990). Kenyataan bahwa sebagian atau semua
peubah bebas saling berkorelasi, dengan MKT tidaklah menghalangi memperoleh
fungsi regresi dugaan yang pas ataupun mempengaruhi inferensi tentang rataan
peubah tak bebas atau peramalan amatan-amatan baru, asalkan inferensi tersebut
dilakukan di dalam daerah amatan. Akan tetapi multikolinearitas yang tinggi akan
mengakibatkan koefisien-koefisien regresi dugaan cenderung memiliki keragaman
penarikan contoh yang besar, artinya koefisien regresi dugaannya cenderung
bervariasi sangat besar dari contoh satu ke contoh lainnya. Akibatnya tidak diperoleh
informasi yang tepat mengenai koefisien regresi yang sebenarnya (populasi). Bahkan
bisa jadi masing-masing koefisien regresi secara linier tidak nyata walaupun antara
peubah tak bebas dan peubah bebas terdapat hubungan linier yang nampak jelas.
Secara teori tanda hubungan linier sebenarnya diantara peubah bebas dengan
peubah tak bebas dapat dilihat pada matriks korelasi. Masalah tanda dari model
regresi bagi penelitian bidang tertentu misalnya penelitian ekonomi, industri, biologi
dan yang lainnya merupakan ha1 yang sangat diperhatikan, karena dalam kenyataan
riil bahwa pengaruh peubah bebasnya bertanda positip atau dispesifikasikan untuk
meningkatkan nilai harapan dari model regresi yang dibangun, tetapi ternyata setelah
dimodelkan berubah tanda menjadi negatip atau sebaliknya.
Multikolinearitas diantara peubah-peubah bebas juga akan mempengaruhi
pengujian koefisien regresi dimana uji pengaruh marjinal peubah
bebas secara
bersama-sama tidak setara dengan pengujian apakah ada hubungan regresi antara
peubah tak bebas dengan masing-masing peubah bebas, karena model tereduksi untuk
masing-masing uji tersebut mengandung pengaruh salah satu peubah bebas yang lain
(Neter et al, 1990). Dengan menggunakan MKT akan terlihat efek dari
multikolinearitas yaitu tingginya koefisien determinasi tidak diikuti dengan hasil uji
hipotesis yang nyata dari koefisien-koefisien regresi. Keadaan ini disebabkan karena
besarnya koefisien determinasi tidak didukung oleh kecilnya raganl koefisien regresi
tersebut (Martens & Naes, 1989), sehingga adanya multikolinearitas diantara peubah
bebas mengakibatkan galat baku dari koefisien regresi menjadi bertambah besar,
implikasinya statistik t yang didefinisikan sebagai rasio antara koefisien regresi dan
galat bakunya menjadi lebih kecil.
Dalaln model regresi, interpretasi dari masing-masing koefisien regresi adalah
perubahan rata-rata peubah respons (y) jika peubah penjelas xi tersebut berubah satu
unit dan peubah penjelas lainnya tetap (ceteris paribus). Dengan demikian jika ada
multikolinearitas, yaitu ada korelasi antar peubah penjelas maka asumsi ceteris
paribus tidak berlaku sehingga sulit memisahkan pengaruh dari masing-masing
peubah penjelas, dan ini juga diindikasikan dari hasil analisis pada pengujian
hipotesis yang tidak signifikan dan terjadinya perubahan tanda dari peubah
penjelasnya.
Berdasarkan uraian di atas, dalam penelitian ini dikaji pengaruh
multikolinearitas tersebut dengan penerapan MKT dan metode analisis regresi
komponen utama
dengan berbagai jumlah data observasi (n). Hasil kajian ini
diharapkan dapat memberikan gambaran bagi pengguna sebagai bahan pertimbangan
dalam penafsiran model dari objek yang diamati sesuai dengan tujuan model regresi
yang ingin dicari pola hubungannya.
Batasan Masalah
Pada penelitian ini hanya dilakukan pengkajian efek dari penerapan MKT,
khususnya bagi penelitian yang sangat memerlukan kajian lebih lanjut dari model
regresi apabila terjadi multikolinearitas antar peubah bebas dengan berbagai jumlah
data dan solusi penerapan metode komponen utama.
Tujuan Penelitian
Penelitian pengkajian efek penerapan MKT apabila terjadi multikolinearitas
pada peubah bebas, mempunyai tujuan sebagai berikut :
1. Mengkaji efek penerapan MKT apabila terjadi multikolinearitas dengan berbagai
jumlah data.
2. Membandingkan hasil regresi linier berganda dengan MKT dan regresi komponen
utama dalam ha1 perubahan tanda peubah bebas.
TINJAUAN PUSTAKA
Analisis Regresi Linier Berganda
Analisis regresi merupakan suatu teknik statistika untuk menyelidiki dan
memodelkan hubungan diantara peubah-peubah, yaitu peubah tak bebas (respon) dan
peubah bebas (prediktor). Analisis ini digunakan dalam berbagai bidang ilmu.
Diantara model-model regresi, model regresi linier merupakan model yang paling
sederhana dan paling sering digunakan. Suatu model linier adalah sebuah fungsi linier
dalam parameter Po,P1,...,P,
(Myers & Milton, 1991). Model regresi yang
mempunyai lebih dari satu peubah bebas dan linier dalam koefisiennya disebut model
regresi linier berganda yang dinyatakan sebagai berikut :
Y i
=PO+PI',,
+P2'12
+ a * . +
Pnl'inl
+ E l
(la)
dengan : yi adalah peubah tak bebas ;xij adalah peubah bebas ke-j pada ulangan ke-i
;Ei adalah sisaan atau galat ; pj adalah koefisien regresi ;i = 1,2, ...,n dan n > m+l
;J = 1,2,...,,m.
Anaiisis regresi digunakan untuk mempelajari hubungan antara sepasang
peubah atau lebih, dan terutama untuk menelusuri pola hubungan yang modelnya
belum diketahui- dengan sempurna sehingga dalam penerapannya lebih bersifat
eksploratif dan mengakar pada pendekatan empirik (Aunuddin, 1989).
Metode Kuadrat Terkecil (MKT)
Model persamaan regresi (la) secara umum dapat ditulis dalam notasi matriks
sebagai berikut :
y = x p-+ g
y-
= Vektor peubah tak
bebas (nxl)
X
= Matriks peubah bebas (nxk)
p- = Vektor penduga parameter (kxl)
g
= Vektor
sisadgalat (nxl)
- ) = 0, var(5 ) = 021dan unsur-unsur E tidak berkorelasi.
Dengan E(E
- , sehingga kuadrat galatnya adalah :
Karena E(g ) = 0 maka E( y- ) = X p
Dengan meminimumkan jumlah kuadrat galat diperoleh
dimana
/? sebagai berikut :
adalah penduga yang memenuhi sifat linier, tidak berbias dan memiliki
ragam minimum (Myers & Milton, 1991).
Pada analisis regresi, salah satu tujuan yang ingin dicapai adalah pengujian
hipotesis terhadap koefisien regresi. Tujuan dari hipotesis inj adalah untuk
mengetahui kontribusi relatif dari peubah bebas. Pada MKT, pengujian hipotesis
tersebut biasanya menggunakan uji t. Adapun bentuk hipotesis statistiknya jika yang
ingin diuji Po adalah :
Secara eksplisit, uji terhadap hipotesis di atas didasarkan pada statistik uji :
Kaidah keputusan dalam pengujian ini bila taraf nyata ditetapkan sebesar a adalah
I I
Jika thir
'(1-a/2;n-2)
' terima Ho. Dan jika tidak maka terima HI.
Multikolinearitas
Masalah multikolinearitas muncul ketika terdapat korelasi diantara peubah
bebasnya, sehingga ha1 ini akan mempengaruhi ragam dari penduga kuadrat terkecil
dan pendugaan model yang dibuat (Wetherill, 1986).
Multikolinearitas bukanlah suatu kesalahan pemodelan, tetapi suatu kondisi
data yang tidak sempurna, sehingga sangatlah penting untuk menyadari kehadiran
multikolinearitas (Chatterjee & Price, 1977).
Hal senada menurut Belsley et al, (1980) bahwa multikolinearitas adalah
masalah data bukan masalah statistik. Akan tetapi dalam interpretasi dari model
regresi yang terbentuk atau yang ingin dicari menimbulkan konsekuensi.
Konsekuensi dari multikolinearitas dalam analisis regresi tersebut adalah ragam dan
peragam dari penduga kuadrat terkecil menjadi lebih besar, selang kepercayaan bagi
penduga parameter menjadi lebih lebar dan galat baku dari koefisien regresi menjadi
bertambah besar sehingga statistik t yang didefenisikan sebagai rasio antara penduga
dan galat baku koefisien penduga menjadi lebih kecil. Untuk menjelaskan ha1 ini,
maka misalkan model regresi linier berganda berikut :
Y
=Po + P I X ,+ P 2 ~ 2+ E
(14
Dengan mengasumsikan peubah galat (sisaan) memiliki sifat-sifat : E[&]=O,
- 2
Var[&21-0
, COV[E~,
cj]= E[Q, E~]=O,untuk i#j, maka persamaan regresi diatas dapat
diduga dengan MKT yang menghasilkan koefisien regresi bl dan b2 sebagai penduga
tak bias bagi parameter PI dan p2. Selanjutnya dengan mendefenisikan peubah xl dan
xz dalam bentuk simpangan terhadap nilai rataannya, maka berdasarkan MKT
diperoleh :
dimana
1-12
adalah koefisien korelasi antara peubah bebas xl dan x2 (Dillon &
Goldstein, 1984).
Dengan demikian dari persamaan (2c), (3c) dan (4c) tampak secara jelas apabila 1-12
mendekati 1, maka penyebutnya akan menjadi kecil dan apabila sarna dengan 1
persamaan menjadi tidak dapat ditentukan, karena penyebutnya akan sama dengan
no1 dan dalam kasus pembagian dengan no1 memberikan hasil yang tidak terdefenisi,
sehingga Var[bl], Var[b2] dan Cov[bl,b2] menjadi tidak terdefenisi apabila terjadi
korelasi linier secara sempurna diantara peubah-peubah bebas x. Sebaliknya apabila
peubah-peubah x bersifat ortogonal, dimana 1-12 = 0, maka Cov[bl,b2] = 0 dan Var[bl]
= 02/&12, Var[b2] = 02/C~22.
Dan juga penafsiran koefisien regresi sebagai tolak ukur perubahan nilai
harapan peubah tak bebas bila peubah bebas padanannya naik satu satuan sedangkan
semua peubah bebas lainnya konstan tidak lagi sepenuhnya berlaku. Meskipun secara
konseptual bisa divariasikan salah satu peubah bebas pada saat yang sama
mempertahankan peubah-peubah lain tetap (konstan). Namun di dalam praktek tidak
mungkin melakukannya untuk peubah-peubah bebas yang berkorelasi tinggi.
Misalnya, model regresi untuk maramalkan hasil panen dari banyaknya curah hujan
d m jumlah jam sinar matahari, hubungan antara kedua peubah bebas tersebut tidak
mungkin diubah-ubah sementara yang lain dibuat konstan. Jadi bila peubah-peubah
bebas saling berkorelasi, koefisien salah satu peubah bergantung pada peubah lain
mana yang dimasukkan ke dalam model dan mana yang tetap di luar model. Dengan
demikian koefisien regresi tidak mencerminkan pengaruh inheren suatu peubah bebas
terhadap peubah tak bebas, melainkan pengaruh marjinal atau parsial, bila diketahui
peubah bebas lain telah ada di dalam model. Kondisi demikian juga mempengaruhi
tanda peubah-peubah bebas terhadap peubah tak bebasnya yang digambarkan oleh
tanda dari koefisien regresi bisa berubah-ubah apabila masing-masing peubah dan
secara bersamaan dimasukkan kedalam model (Neter et al, 1990).
Indikasi adanya masalah kekolinearan ganda yang serius ditunjukkan oleh
diagnostik-diagnostikinformal sebagai berikut :
1. Terjadi perubahan besar koefisien regresi dugaan bila suatu peubah bebas
ditambahkan atau dibuang, atau bila suatu amatan diubah atau dibuang.
2.
Uji-uji individu terhadap koefisien regresi bagi peubah-peubah bebas penting
memberikan hasil yang tidak nyata.
3.
Tanda koefisien regresi dugaan yang diperoleh bertentangan dengan yang
diharapkan berdasarkan pertimbangan teoritis atau pengalaman-pengalaman
sebelumnya.
4. Koefisien regresi sederhana yang besar antara pasangan-pasangan peubah bebas
di dalam matriks korelasi rxx.
5.
Selang kepercayaan yang lebar bagi koefisien regresi peubah bebas yang penting.
Metoda informal di atas memiliki sejumlah keterbatasan, yaitu tidak
memberikan ukuran kuantitatif tentang dampak kekolinearan ganda, tidak mampu
mengidentifikasi sifat kekolinearan ganda dan adakalanya perilaku yang teramati
terjadi tanpa adanya kekolinearan ganda.
Melihat keterbatasan di atas, suatu metode formal untuk mendeteksi adanya
kekolinearan ganda yang banyak digunakan adalah melalui faktor inflasi ragam
(Variance Inflation Factor [VIF]). VIF yaitu pengukuran multikolinearitas untuk
peubah bebas ke-i. VIF dihitung dari matriks korelasi peubah bebas yang telah
dibakukan satuannya. VIF adalah salah satu faktor yang mengukur seberapa besar
kenaikan ragam dari koefisien regresi dibandingkan terhadap peubah bebas yang
ortogonal jika dihubungkan secara linier (Fox & Monette, 1992). Nilai VIF akan
semakin besar jika terdapat korelasi yang semakin besar diantara peubah-peubah
bebas. VIF yang melebihi sepuluh
bisa digunakan sebagai petunjuk adanya
kolinearitas (Neter et al, 1990). Hubungan antara VIFi dan kolinearitas adalah melalui
rumus :
R:
= koefisien
determinasi ganda bila xi diregresikan terhadap p-2 peubah x lainnya
di dalam model. Multikolinearitas dikatakan serius bila VIF lebih besar dari 10
(Rawling et al, 1988).
Analisis Komponen Utama
Misalkan suatu peubah acak x = (xl,xz,...,x,) yang terdiri dari p peubah yang
mengikuti sebaran peubah ganda tertentu dengan vektor nilai tengah p dan matriks
ragam peragam S atau matriks korelasi R. Kedua matriks tersebut berguna dalam
perhitungan nilai akar ciri (Aj) dan vektor ciri (aj).
Dari p buah peubah asal tadi dapat diturunkan p buah komponen utarna untuk
menerangkan keragaman total sistem, dan seringkali keragaman total itu dapat
diterangkan secara memuaskan oleh sejumlah kecil komponen utama, misal k buah
komponen dimana k