BAB 2 LANDASAN TEORI 2.1 Aljabar Matriks - Perbandingan Penggunaan Metode Analisis Regresi Ridge dan Metode Analisis Regresi Komponen Utama dalam Menyelesaikan Masalah Multikolinieritas (Studi Kasus Data PDRB Propinsi Sumatera Utara)
BAB 2 LANDASAN TEORI
2.1 Aljabar Matriks
2.1.1 Definisi Matriks
Matriks adalah suatu kumpulan angka-angka yang juga sering disebut elemen-elemen yang disusun secara teratur menurut baris dan kolom sehingga berbentuk persegi panjang, dimana panjang dan lebarnya ditunjukkan oleh banyaknya kolom dan baris serta dibatasi tanda “[ ]” atau “( )”. Sebuah matriks dinotasikan dengan simbol huruf besar seperti A, X, atau Z dan sebagainya. Sebuah matriks A yang berukuran m baris dan n kolom dapat ditulis sebagai berikut : Atau juga dapat ditulis :
A = [ ] i
= 1, 2,…, m ; j = 1, 2,…, n
Kombinasi Linier
Vektor w merupakan kombinasi linier dari vektor-vektor jika terdapat skalar sehingga berlaku : , (2.1)
Jika vektor w = 0 maka disebut persamaan homogen dan disebut vektor yang bebas linier, yang mengakibatkan , tetapi jika ada bilangan yang tidak semuanya sama dengan nol, maka disebut bergantung linier.
Determinan Matriks
Misalkan = [ ] adalah matriks . Fungsi determinan dari ditulis dengan atau . Secara matematiknya ditulis : Dimana ∑ menunjukkan bahwa suku-suku tersebut harus dijumlahkan terhadap semua permutasi dan simbol (+) atau (-) dapat dipilih dalam masing-masing suku sesuai dengan apakah permutasi itu genap atau ganjil. Anton (1995, hal : 64)
Teorema
Jika A = [ ] adalah matriks yang mengandung sebaris bilangan nol, maka .
Teorema
Jika adalah matriks segitiga nxn, maka adalah hasil kali elemen
- – elemen pada diagonal utama, yaitu
Teorema Jika adalah sebarang matriks kuadrat, maka . Invers Matriks
Misalkan A matriks nxn disebut non singular (invertible) jika terdapat matriks B maka
AB = BA = I
Matriks B disebut invers dari A jika tidak terdapat matriks B maka matriks A disebut singular (non-invertible).
Secara umum invers matriks A adalah : Adjoint matriks A adalah suatu matriks yang elemen-elemennya terdiri dari semua elemen-elemen kofaktor matriks A, dengan adalah kofaktor elemen-elemen
Sehingga dapat ditulis dalam bentuk matriks sebagai berikut : dengan : = minor entri yaitu determinan suatu matriks yang diperoleh dengan menghapus baris ke
- –i dan kolom ke-j dari matriks A. Sifat – sifat invers :
Jika A adalah matriks non singular, maka adalah non singular dan b.
Jika A dan B adalah matriks non singular, maka AB adalah non singular dan
2.1.2 Nilai Eigen dan Vektor Eigen
Jika A adalah matriks nxn, maka vektor tak nol X di dalam dinamakan vektor eigen(eigenvektor) dari A jika AX adalah kelipatan skalar dari X yakni : (2.2)
AX = λX
Untuk suatu skalar
λ. Skalar λ dinamakan nilai eigen (eigen value) dari A dan X
dikatakan vektor eigen yang bersesuaian dengan λ.
Untuk mencari nilai eigen matriks yang berukuran nxn, dari persamaan (2.2) dapat ditulis kembali sebagai suatu persamaan homogen :
Dengan I adalah matriks identitas yang berordo sama dengan matriks A, dalam catatan matriks : , ,
, X ≠0 untuk memperoleh nilai
n buah akar
Jika nilai eigen disubstitusi pada persamaan , maka solusi dari vektor eigen X n adalah (2.3)
Jadi apabila matriks mempunyai akar karakteristik dan ada kemungkinan bahwa diantaranya mempunyai nilai yang sama, bersesuaian dengan akar-akar karakteristik ini adalah himpunan vektor
- –vektor karakteristik yang orthogonal (artinya masing-masing nilai akar karakteristik akan memberikan vektor karakteristik) sedemikian sehingga : i,j=
1,2,…,n
2.2 Analisis Regresi Linier Berganda
Dalam perkembangannya terdapat dua jenis regresi yang sangat terkenal, yaitu regresi linier sederhana dan regresi linier berganda. Regresi linier sederhana digunakan untuk menggambarkan hubungan antara suatu variabel bebas (X) dengan satu variabel tak bebas (Y) dalam bentuk persamaan linier sederhana.
(2.4) i = 1,2,…, n Regresi linier berganda merupakan perluasan dari regresi linier sederhana. Perluasannya terlihat dari banyaknya variabel bebas pada model regresi tersebut. Bentuk umum regresi linier berganda dapat dinyatakan secara statistik sebagai berikut:
(2.5) dengan : = variabel tak bebas
= variabel bebas = parameter regresi
= variabel gangguan Dalam melakukan analisis regresi linier berganda, sering dijumpai masalah multikolinieritas pada peubah
- – peubah bebasnya (X). Akibatnya adanya pelanggaran terhadap salah satu asumsi yang disyaratkan pada penggunaan regresi linier tersebut sehingga mempengaruhi sifat
- – sifat penduga atau penaksir koefisien regresi linier bergandanya.
Adapun asumsi
- – asumsi yang mendasari analisis regresi berganda tersebut antara lain : 1.
untuk i Nilai rata-rata kesalahan pengganggu nol, yaitu = 1, 2, …, n
2. , adalah konstan untuk semua kesalahan pengganggu (asumsi homokedastisitas).
3. Tidak ada otokorelasi antara kesalahan pengganggu , berarti kovarian . 4. konstan dalam sampling yang terulang dan bebas
Variabel bebas terhadap kesalahan pengganggu .
5. Tidak ada multikolinieritas diantara variabel bebas X.
6. , artinya kesalahan pengganggu menyebar mengikuti distribusi normal dengan rata-rata 0 dan varian .
Dalam data PDRB propinsi Sumatera Utara, salah satu asumsi yaitu tidak ada multikolinieritas diantara variabel bebasnya yaitu antara faktor
- – faktor yang mempengaruhinya telah dilanggar sehingga mengakibatkan penduga koefisien regresi linier ganda relatif tidak stabil atau kurang tepat (dalam hal ini dianggap asumsi lainnya telah terpenuhi).
2.3 Penduga Parameter Metode Kuadrat Terkecil
Metode kuadrat terkecil merupakan suatu metode yang paling banyak digunakan untuk menduga parameter-parameter regresi. Pada model regresi linier berganda juga digunakan metode kuadrat terkecil untuk menduga parameter. Biasanya penduga kuadrat terkecil ini diperoleh dengan meminimumkan jumlah kuadrat galat. Misalkan model yang akan diestimasi adalah parameter dari persamaan dengan n pengamatan, maka diperoleh : Persaman-persamaan diatas dapat ditulis dalam bentuk matriks :
(2.6) dengan : Untuk mendapatkan penaksir-penaksir MKT (Metode Kuadrat Terkecil) bagi , maka dengan asumsi klasik ditentukan dua vektor ( dan e) sebagai: Persamaan hasil estimasi dari persamaan (2.6) dapat ditulis sebagai : Sedangkan untuk taksiran parameter pada analisis regresi linier berganda dapat dinyatakan sebagai berikut :
2.4 Met ode Centering and Rescaling dan Matriks Korelasi
2.4.1 Metode Centering and Rescaling
Dalam persamaan regresi yang memiliki model : Persamaan tersebut di atas dapat dibentuk menjadi : menurut rumus untuk mendapatkan yaitu : sehingga jika maka dapat persamaan baru yaitu :
Prosedur untuk membentuk persamaan pertama menjadi persamaan terakhir disebut dengan prosedur centering. Prosedur ini mengakibatkan hilangnya yang membuat perhitungan untuk mencari model regresi menjadi lebih sederhana. Bila dari persamaan di atas kita bentuk persamaan : dengan maka prosedur ini disebut dengan prosedur rescaling. Keseluruhan dari prosedur di atas disebut prosedur centering and rescaling.
2.4.2 Matriks Korelasi
Persamaan yang didapat melalui prosedur Centering and Rescaling di atas bila dituliskan dalam bentuk matriks adalah : untuk, Hal ini berlaku juga untuk sedangkan untuk sehingga matriks korelasi untuk persamaan regresinya adalah :
Matriks yang diperoleh disebut matriks korelasi.
2.5 Mult ikolinieritas
Istilah multikolinieritas mula
- – mula dikemukakan oleh Ragner Frisch pada tahun 1934. Pada mulanya multikolinieritas ini berarti adanya hubungan linier yang “sempurna” atau pasti, diantara beberapa atau semua variabel yang menjelaskan dari model regresi, atau dapat diartikan sebagai hubungan linier antara variabel eksplanatoris dari suatu model regresi adalah sempurna.
Maksud tidak ada hubungan linier (kolinieritas) antara regressor adalah sebagai berikut : Misalkan terdapat dua variabel bebas, dan jika dapat dinyatakan sebagai fungsi linier dari atau sebaliknya, maka dinyatakan bahwa ada kolinieritas antara dan . Contohnya, misalkan ada tiga variabel bebas yaitu dan . Jika nilai merupakan penjumlahan dari dan maka akan terjadi perfect multikolinearity.
Adanya multikolinieritas di antara varabel bebas pada koefisien regresi penduga yang diperoleh dengan metode kuadrat terkecil akan berpengaruh karena varian akan semakin besar sehingga penduga kuadrat terkecil akan memiliki varian yang besar juga.
Menurut Motgomery dan Peck, beberapa sumber penyebab multikolinieritas adalah:
1. Metode pengumpulan data yang digunakan membatasi nilai dari regressor.
2. Kendala model pada populasi yang diamati.
3. Spesifikasi model
4. Penentuan jumlah variabel eksplanatoris yang lebih banyak dari jumlah observasi atau overdetermined model.
5. Data time series, trend tercakup dalam nilai variabel eksplanatoris yang ditunjukkan oleh penurunan atau peningkatan sejalan dengan waktu. Kadang kala aplikasi data sekunder mengalami masalah penaksiran atau menolak asumsi klasik dari model regresi linier.
2.6 Pendeteksian Multikolinieritas
Ada beberapa cara untuk mengetahui ada tidaknya multikolinieritas dalam suatu data,antara lain : a. Faktor Variansi Inflasi (VIF) dan Tol(Tolarance)
Tolerance adalah indikator seberapa banyak variabilitas sebuah variabel bebas tidak bisa dijelaskan oleh variabel bebas lainnya. Tolerance dihitung dengan rumus untuk setiap variabel bebas. Jika nilai Tolerance sangat kecil (< 0,1), maka itu menandakan korelasi berganda satu variabel bebas sangat tinggi dengan variabel bebas lainnya dan mengindikasikan multikolinieritas. Nilai
VIF merupakan invers dari nilai Tolerance ). Jika nilai VIF > 10, maka itu mengindikasikan terjadinya multikolinieritas.
b. Koefisien Korelasi Partial koefisien korelasi partial menunjukkan besar hubungan antara variabel bebas.
Jika koefisien korelasi sederhana mencapai atau melebihi 0,8 maka hal tersebut menunjukkan terjadinya masalah multikolinearitas dalam regresi.
c. Nilai Determinan Nilai determinan terletak antara 0 dan 1. Bila nilai determinan satu, kolom matriks X adalah orthogonal (seregresi) dan apabila nilai 0 disana ada sebuah ketergantungan linier yang nyata antara kolom X. Nilai yang lebih kecil determinannya maka tingkat multikolinieritasnya lebih besar.
2.7 Metode Regresi Ridge
Salah satu metode yang dapat digunakan untuk menaksir parameter regresi dari model regresi linier berganda adalah Metode Kuadrat Terkecil. Dugaan parameter koefisien regresi dengan Metode Kuadrat Terkecil yang dapat dibuat dalam bentuk matriks adalah :
Dengan membentuk menjadi bentuk matriks korelasi, maka kesalahan yang disebabkan pengaruh pembulatan menjadi lebih kecil (Draper & Smith,1992). Terutama jika variabel regressornya lebih dari dua dan data yang ada besar. Jika yang merupakan matriks korelasi adalah matriks identitas maka nilai dugaan variabel regressand akan sama dengan nilai sebenarnya. Apabila tidak mendekati matriks identitas melainkan menjauhinya, maka dapat dikatakan hampir singular (buruk).
Kondisi ini disebut sebagai ill conditioned (Draper & Smith ,1992). Kondisi ini terjadi apabila terdapat korelasi antar variabel regressor yang cukup tinggi sehingga menyebabkan determinan mendekati nol. Maka antara variabel regressor terjadi multikolinieritas ganda tidak sempurna.
Apabila terjadi situasi tersebut, penaksiran parameter koefisien regresi masih mungkin dilakukan dengan metode kuadrat terkecil, tetapi dengan konsekuensi simpangan bakunya menjadi sangat sensitif sekalipun terjadi perubahan yang sangat kecil dalam datanya. Simpangan baku ini cenderung membesar sejalan dengan meningkatnya multikolinieritas.
Apabila terjadi multikolinieritas tidak sempurna pada variabel regressor pada diagonal utama ditambah bilangan kecil positif yang bernilai antara 0 dan 1, maka prosedur ini disebut Ridge Trace. Kemudian dengan mentransformasikan matriks menjadi matriks korelasi sehingga dugaan koefisien regresi menjadi
:
dengan :
= estimator Ridge regression = Ridge parameter (bilangan kecil positif terletak antara 0 dan 1)
θ = matriks n x k yang merupakan hasil transformasi variabel regressor.
Sehingga nilai dugaan untuk variabel regressand menjadi : Proses tersebut di atas disebut dengan Ridge regression. Analisis regresi Ridge dapat digunakan apabila tidak singular. Asumsi yang digunakan hanyalah ada dan tidak sulit mendapatkannya.
Umumnya sifat dari penafsiran Ridge ini memiliki variansi yang minimum sehingga diperoleh nilai VIF nya yang merupakan diagonal utama dari matriks : Dari berbagai nilai yang ada, akan dipilih harga yang memberikan nilai VIF relatif dekat dengan 1.
Hubungan parameter , dalam model baru dengan parameter dalam model semula adalah : (2.7)
2.8 Uji Koefisien Korelasi Ganda
Koefisien korelasi ganda dihutung dengan rumus : (2.8)
Jadi statistik yang digunakan untuk menguji hipotesi nol adalah : (2.9)
Tolak hipotesa nol bahwa koefisien korelasi berarti jika , dalam hal ini hipotesa bahwa koefisien korelasi ganda berarti harus diterima.
2.9 Metode Analisis Regresi Komponen Utama
Analisis komponen utama pada dasarnya adalah bertujuan untuk menyederhanakan variabel yang diamati dengan cara menyusutkan (mereduksi) dimensinya. Hal ini dilakukan dengan cara menghilangkan korelasi diantara variabel bebas melalui transformasi variabel bebas asal ke variabel baru yang tidak berkorelasi sama sekali atau yang biasa disebut dengan komponen utama (principal component).
Variabel baru ( disebut sebagai komponen utama yang merupakan hasil transformasi dari variabel asal ( yang modelnya dalam bentuk catatan matriks adalah :
= A
dengan : A adalah matriks yang melakukan transformasi terhadap variabel asal sehingga diperoleh vektor komponen .
Penjabarannya adalah sebagai berikut :
2.9.1 Menentukan Komponen Utama
Komponen utama dapat ditentukan melalui matriks ragam peragam (Σ) dan matriks korelasi dari . Matriks kovarian Σ digunakan untuk membentuk komponen utama apabila semua variabel yang diamati mempunyai satuan pengukuran yang sama. Sedangkan, matriks korelasi digunakan apabila variabel yang diamati tidak mempunyai satuan pengukuran yang sama. Variabel tersebut perlu dibakukan, sehingga komponen utama berdasarkan matriks korelasi ditentukan dari variabel baku.
Data PDRB Propinsi Sumut dapat dilihat mempunyai satuan pengukuran yang tidak sama antara variabelnya. Oleh karena itu, dalam skripsi ini, komponen utama akan ditentukan melalui matrik korelasi.
2.9.2 Komponen Utama Berdasarkan Matriks Korelasi
Jika variabel yang diamati tidak mempunyai satuan pengukuran yang sama, maka variabel tersebut perlu dibakukan sehingga komponen utama ditentukan dari variabel baku. Variabel asal pun perlu ditransformasikan ke dalam variabel baku Z, dalam catatan matriks adalah :
(2.10) dengan : = variabel baku
= variansi = variabel pengamatan = nilai rata-rata pengamatan
Setelah dipilih komponen-komponen utama yang akan digunakan (sebanyak k buah) selanjutnya ditentukan persamaan regresi dari peubah tak bebas Y dengan komponen utama tersebut. Untuk meregresikan komponen utama dengan variabel tak bebas, maka perlu dihitung skor komponen dari setiap pengamatan. Untuk komponen utama yang diturunkan dari matriks korelasi.
2.9.3 Kriteria Pemilihan Komponen Utama
Salah satu tujuan dari analisis komponen utama adalah mereduksi dimensi data asal yang semula, terdapat p variable bebas menjadi k komponen utama . Kriteria pemilihan k yaitu :
1. Didasarkan pada akar ciri yang lebih besar dari satu, dengan kata lain hanya komponen utama yang memiliki akar ciri lebih besar dari satu yang dilibatkan dalam analisis regresi komponen utama.