Analisis Perbandingan Regresi Komponen Utama dan Regresi Ridge untuk Mengatasi Masalah Multikolinieritas pada Model Regresi Linier Berganda
5
BAB 2
TINJAUAN PUSTAKA
2.1
Matriks
2.1.1 Definisi Matriks
Matriks adalah suatu kumpulan angka-angka yang juga sering disebut elemenelemen yang disusun secara teratur menurut baris dan kolom berbentuk persegi
panjang, dimana panjang dan lebarnya ditunjukkan oleh banyaknya kolom dan
baris serta dibatasi dengan tanda “
”, “[ ]”, atau “‖ ‖”.
Sebuah matriks dinotasikan dengan simbol
atau
berukuran
baris dan
huruf besar seperti
dan sebagainya. Sebuah matriks
yang
kolom dapat ditulis sebagai berikut:
(2.1)
Atau juga dapat ditulis:
Matriks
Setiap
[
[
]
]
, karena terdiri dari
disebut disebut matriks
disebut elemen (unsur) dari matriks
, sedangkan indeks
berturut-turut menyatakan baris dan kolom. Jadi elemen
ke- dan kolom ke- . Pasangan bilangan (
baris dan
kolom.
dan
terdapat pada baris
) disebut dimensi (ukuran atau
bentuk) dari matriks .
Contoh:
Universitas Sumatera Utara
6
Disebut matriks
digunakan
dengan 2 baris dan 3 kolom. Jika
sebuah matriks, maka
untuk menyatakan elemen yang terdapat di dalam baris dan kolom
dari . Dalam contoh ini
dan
[
atau dapat ditulis
]
2.1.2 Jenis-Jenis Matriks
Matriks Kuadrat
Matriks kuadrat adalah matriks yang banyak barisnya sama dengan banyak
kolomnya. Dalam matriks kuadrat terdapat adanya diagonal utama yaitu entrientri yang mempunyai nomor baris yang sama dengan nomor kolom. Elemenelemen tersebut adalah
.
]
[
Matriks Diagonal
Matriks diagonal adalah matriks kuadrat yang semua entri di luar diagonal
utamanya bernilai nol dan paling tidak terdapat satu elemen diagonal utama
Jumlah elemen-elemen diagonal suatu matriks kuadrat
disimbolkan dengan
disebut trace
.
[
Matriks Identitas
.
∑
]
(2.2)
Matriks identitas adalah matriks diagonal yang entri-entri pada diagonal utamnya
adalah bilangan satu dan entri-entri yang lainnya adalah bilangan nol. Matriks
identitas disimbolkan dengan .
[
]
Universitas Sumatera Utara
7
dengan:
Matriks Singular
[
Matriks kuadrat
] dikatakan singular jika semua elemen pada salah satu
baris atau kolom adalah nol atau jika semua kofaktor dari elemen suatu baris atau
kolom sama dengan nol. Untuk melihat kesingular suatu matriks adalah dengan
menghitung determinan matriks tersebut. Apabila determinannya sama dengan
nol maka matriks tersebut adalah singular.
Matriks Ortogonal
[
Matriks kuadrat
] dikatakan dapat didiagonalisasikan secara ortogonal
jika terdapat matriks ortogonal
sehingga berlaku
. Matriks
ortogonal didefinisikan sebagai matriks yang nilai inversnya sama dengan nilai
transposnya, sehingga:
Maka
adalah matriks ortogonal.
2.1.3 Operasi Matriks
Penjumlahan Matriks
Misalkan matriks
Jumlah matriks
ordo
dan
[
]
[
] dengan
dan
dapat dinyatakan oleh
.
, yang memenuhi syarat
ordo . penjumlahan matriks dapat dinyatakan dengan:
(
)
Pengurangan Matriks
Misalkan matriks
Jumlah matriks
ordo
dan
[
]
[
] dengan
dan
dapat dinyatakan oleh
.
, yang memenuhi syarat
ordo . penjumlahan matriks dapat dinyatakan dengan:
(
)
Universitas Sumatera Utara
8
Perkalian Matriks dengan Skalar
[
] dengan
, dengan
(
Misalkan
dan
suatu skalar. Perkalian matriks
dengan
dengan skalar
adalah
dapat dinyatakan dengan
).
Perkalian Matriks dengan Matriks
[
Jika
] dengan
dan
perkalian matriks
memenuhi syarat banyak kolom
∑
dan
[
dan
yang dinyatakan oleh
] dengan
harus
banyak baris . Dengan aturan:
(jumlah dari semua perkalian antara elemen
ke- dengan elemen
pada baris
pada kolom ke- )
Dengan aturan ini, dikaitkan dengan vektor kolom dan vektor baris, jika
baris ke- dari matriks
elemen matriks
dan
vektor kolom ke- dari matriks
vektor
maka elemen-
adalah:
∑
Transpose Suatu Matriks
Jika semua baris dan kolom dari suatu matriks
dipertukarkan (baris
pertama dengan kolom pertama dan seterusnya), maka diperoleh suatu matriks
yang disebut transpos, disimbolkan dengan
atau
.
Misalkan:
Maka:
[
]
[
[
]
]
Universitas Sumatera Utara
9
Determinan Matriks
Determinan adalah suatu skalar (angka) yang diturunkan dari suatu matriks
kuadrat melalui operasi khusus. Disebut operasi khusus karena dalam proses
penurunan determinan dilakukan perkalian sesuai dengan aljabar matriks. Suatu
matriks yang mempunyai determinan disebut dengan matriks singular sedangkan
matriks yang tidak mempunyai determinan (determinannya = 0) disebut matriks
non-singular .
[
Misalkan matriks kuadrat
determinan dari matriks
] dengan
. Fungsi
atau | |. Secara
dituliskan dengan
matematiknya dituliskan dengan:
| |
∑
di mana ∑ menunjukkan bahwa suku-suku tersebut harus dijumlahkan terhadap
semua permutasi (
) dan simbol
atau
dapat dipilih dalam masing-
masing suku sesuai dengan permutasi itu ganjil atau genap.
Invers Matriks
[
Matriks kuadrat
] dengan
dan
mempunyai invers jika terdapat matriks
disebut
sedemikian rupa sehingga
di mana matriks satuan.
Jika matriks
mempunyai invers maka matriks
singular. Dan jika matriks
disebut matriks non-
tidak mempunyai invers maka matriksnya disebut
matriks singular. Jika matriks
mempunyai invers maka inversnya tunggal
(unik).
Andaikan matriks
hubungan
Jadi,
dan
dan
invers dari matriks
sehingga dipenuhi
, maka
atau kedua invers matriks tersebut adalah tunggal.
Secara umum invers matriks
adalah :
(2.5)
Universitas Sumatera Utara
10
Adjoint matriks
adalah suatu matriks yang elemen-elemennya terdiri dari
semua elemen-elemen kofaktor matriks
elemen
, dengan
adalah kofaktor elemen-
. Sehingga dapat ditulis dalam bentuk matriks sebagai
berikut:
[
dengan:
]
adalah determinan dari submatriks
yang diperoleh dengan cara membuang
semua elemen pada baris ke- dan semua elemen pada kolom ke- .
2.2
Nilai Eigen dan Vektor Eigen
Kata “vektor eigen” adalah ramuan dari bahasa Jerman dan Inggris. Dalam bahasa
Jerman “eigen” dapat diterjemahkan sebagai “sebenarnya” atau “karakteristik”;
oleh karena itu, nilai eigen dapat juga dinamakan nilai sebenarnya atau nilai
karakteristik. Dalam literatur lama kadang-kadang dinamakan akar-akar laten
(Howard Anton, 1992).
Jika
adalah matriks
, maka vektor taknol
dinamakan vektor eigen (eigenvector ) dari
jika
di dalam
adalah kelipatan skalar dari
, yaitu:
(2.6)
Untuk suatu skalar . Saklar
dinamakan nilai eigen (eigenvalue) dari
dan
dikatakan vektor eigen yang bersesuaian dengan .
Nilai skalar
dapat dihitung dengan menggunakan persamaan (2.6)
dengan menulisnya secara lengkap, yaitu
[
][
]
[
]
(2.7)
Universitas Sumatera Utara
11
dari persamaan (2.7) yang memberikan sistem persamaan linier homogen:
(2.8)
atau jika dituliskan kedalam bentuk matrik, yaitu:
(2.9)
Menurut teori aljabar,
persamaan linier homogen dengan
yang tidak
diketahui (variabel), hanya dapat mempunyai penyelesaian yang tidak trivial,
dapat dituliskan menjadi:
(2.10)
Persamaan (2.10) dinamakan persamaan karakteristik
memenuhi persamaan (2.10) adalah nilai eigen dari
adalah polinom
. Skalar yang
. Apabila diperluas, maka
yang dinamakan polinom karakteristik dari
Dengan persamaan polinomnya berderajat
.
di dalam , yaitu:
(2.11)
Matriks
disebut matriks karakteristik, sedang
fungsi karakteristik dari
dan
adalah
adalah akar-akar dari persamaan (2.11) yang
menurut teori aljabar mempunyai
akar. Pada umumnya akar-akar ini komple
dan ada kemungkinan terdapat akar-akar yang sama. Akar-akar
dari
persamaan (2.11) disebut eigen value dari matriks .
Andaikan untuk setiap
dengan
mempunyai penyelesaian, misalkan
sitem persamaan (2.9)
suatu vektor yang bersesuaian dengan
, sedemikian hingga:
(2.12)
Dengan ketentuan bahwa persamaan (2.11) mempunyai
berlainan. Dalam hal ini vektor-vektor
vektor dari matriks
dengan
akar-akar yang
disebut eigen
. Karena eigen vektor merupakan penyelesaian dari sistem
persamaan linier homogen, maka penyelesaian ditentukan hanya oleh faktor
konstan dan hanya menentukan perbandingan dari unsur-unsur kolom
secara
Universitas Sumatera Utara
12
tunggal. Dalam ilmu ukur menentukan arahnya secara tunggal sedangkan panjang
vektornya boleh sebarang.
2.3
Matriks Korelasi
Matriks korelasi adalah matriks yang elemen-elemennya terdapat korelasi atau
hubungan satu sama lain. Andaikan
matriks rata-rata dan
adalah sebuah matriks data,
adalah matriks ragam peragam.
̅ adalah
dengan:
̅
Jika diubah ke dalam bentuk matriks akan menjadi:
̅
̅
[ ]
̅
][ ]
[
̅
[ ]
̅
̅ dihitung dari matriks data yang dikalikan dengan vektor
dan konstanta .
Selanjutnya, persamaan (2.13) dikalikan dengan vektor
dihasilkan matriks ̅
.
̅
Kurangkan matriks
matriks baku
, sehingga
[ ̅
̅
̅
̅
̅
̅
̅
̅
̅ ]
dengan persamaan matriks (2.14) yang menghasilkan
dinotasikan dengan .
[
̅
̅
̅
̅
̅
̅
̅
̅
̅
]
Universitas Sumatera Utara
13
Matriks
adalah perkalian silang antara matriks (2.15) dengan matriks
transposenya.
̅
̅
[
̅
̅
(
Karena
̅
)(
̅
̅
]
̅
[
)
)
(
(
̅
̅
)(
)
(
)
̅
̅
̅
̅
̅
̅
̅
̅
]
Sehingga didapat
Persamaan (2.16) menunjukkan dengan jelas bahwa hubungan operasi
perkalian matriks data
nilai
dengan
dan transpose matriks datanya. Jika
diketahui dari persamaan (2.16), maka
korelasi
dengan cara menghitung matriks
dapat dihubungkan ke matriks
.
]
[
Di mana
∑
̅ (
̅)
Maka bentuk korelasi matriks
[
adalah:
]
Universitas Sumatera Utara
14
Di mana
Untuk
2.4
√
menghasilkan
.
Multikolinieritas
Istilah kolinieritas (collinearity) berarti hubungan linier tunggal (single linier
relationship), sedangkan kolinieritas ganda (multicollinearity) menunjukkan
adanya lebih dari satu hubungan linier yang sempurna (J. Supranto, 2004).
Masalah Multikolinieritas pertama kali diperkenalkan pada tahun 1934 oleh
Ragnar Frisch serta mendefenisikan multikolinieritas adalah hubungan yang
perfect atau exact diantara sebagian atau semua variabel bebas pada suatu model
regresi, sehingga akan menyulitkan untuk mengidentifikasi variabel penjelas dan
variabel yang dijelaskan (Gunawan Sumodiningrat, 1998).
Dengan demikian
pengertian multikolinieritas berkaitan dengan adanya lebih dari satu hubungan
linier yang sempurna diantara variabel bebas.
Adanya hubungan linier diatara variabel bebas
variabel bebas
yaitu dimisalkan terdapat
. Hubungan linier yang sempurna terjadi apabila
berlaku hubungan berikut:
Di mana
merupakan bilangan konstan dan tidak seluruhnya
benilai nol atau paling tidak terdapat satu nilai yang bernilai tidak nol, yaitu
.
Jika variabel bebas itu berkorelasi linier secara sempurna, apabila koefisien
korelasi dari variabel bebasnya sama dengan
dengan demikian parameter dalam
model regresi tidak dapat ditentukan (Vincent Gaspersz, 1991).
Menurut Gunawan Sumodiningrat, ada 3 hal yang perlu dijelaskan berkaitan
dengan masalah multikolinieritas yaitu:
1.
Multikolinieritas pada hakikatnya adalah fenomena sampel, hal ini karena
adanya korelasi yang tinggi diantara sebagian atau semua variabel bebas,
Universitas Sumatera Utara
15
sehingga sampel tidak memenuhi asumsi dasar tidak adanya ketergantungan
diantara variabel bebas yang digunakan dalam model regresi.
2.
Multikolinieritas adalah masalah derajat ( degree) bukan persoalan jenis
(kind), yang dimaksud adalah adanya korelasi diantara variabel penjelas baik
sebagian maupun semua variabel bebas tanpa memperhatikan tanda negatif
maupun positif.
3.
Multikolinieritas berkaitan dengan adanya hubungan linier diantara variabel
bebas, sehingga masalah multikolinieritas tidak akan terjadi jika model
estimasi (regresi) non-linier.
2.4.1 Akibat Multikolinieritas
Multikolinieritas berakibat terhadap estimasi kuadrat terkecil dari koefisien
regresi. Berikut akan diperlihat untuk ̂ , Variansi ( ̂ ) dan kovariansi ( ̂ ̂ )
jika terdapat multikolinieritas. Misalkan terdapat dua varibel
bebas
dan
variabel terikat sehingga model
̂
persamaan normal dengan kuadrat terkecil adalah
]
[
Diperoleh
[
]
[
Elemen diagonal utama dari matriks [
Dengan
]
]
inflasi (VIF), yaitu:
merupakan nilai faktor variansi
adalah koefisien determinansi dari regresi
korelasi antara variabel
korelasi antara variabel
dan
.
.
.
dan .
Universitas Sumatera Utara
16
[
]
̂
̂
̂
̂
Jika ada multikolinieritas antara variabel
nilai korelasi
dan
yang sangat erat dan
. Variansi dan kovariansi koefisien regresi menjadi sangat
(̂ )
besar karena
seperti |
|
, galat
(̂
̂ )
, variansi yang besar untuk ̂ menyatakan bahwa koefisien regresi
adalah perkiraan yang sangat lemah. Jika diasumsikan
|
|
seperti
, perkiraan koefisien regresi menjadi sama besarnya akan tetapi menjadi
berlawanan tanda, yaitu ̂
̂ .
2.4.2 Pendeteksian Multikolinieritas
Ada beberapa untuk mendeteksi ada tidaknya multikolinieritas diantaranya yaitu:
1.
Nilai korelasi (korelasi antara varibel bebas)
Cara ini merupakan pendeteksian yang paling sederhana dan paling mudah
untuk dilakukan. Jika nilai korelasi antara variabel bebas (
melebihi 0,8
diduga terdapat masalah multikolinieritas (Gujarati, 2003).
[
∑
Untuk
2.
]
√
̅
√
̅
menghasilkan nilai korelasi
Variance Inflation Factor (VIF)
Nilai VIF merupakan diagonal utama dari invers matriks korelasi. VIF
digunakan sebagai kriteria untuk mendeteksi masalah multikolinieritas pada
regresi linier berganda yang melibatkan lebih dari dua variabel bebas. Nilai
VIF melebihi 10 menunjukkan adanya masalah multikolinieritas (Gujarati,
2003).
Universitas Sumatera Utara
17
(̂ )
dengan:
koefisien determinansi antar
dengan variabel bebas lainnya.
3. lakukan regresi antar variabel bebas dan menghitung masing-masing
,
kemudian melakukan uji-F dan bandingkan dengan F tabel. Jika nilai F hitung
melebih dari F tabel berarti dapat dinyatakan bahwa terjadi kolinieritas
terhadap variabelnya.
2.5
Regresi Linier Berganda
Analisis regresi yang sering digunakan dalam pemecahan suatu permasalahan
adalah regresi linier. Dalam perkembangannya terdapat dua jenis regresi yang
sangat terkenal, yaitu regresi linier sederhana dan regresi linier berganda. Regresi
linier sederhana digunakan untuk menggambarkan hubungan antara satu variabel
bebas ( ) dengan satu variabel tak bebas ( ). Sedangkan jika variabel bebas ( )
yang digunakan lebih dari satu, maka persamaan regresinya adalah persamaan
regresi linier berganda.
Secara umum persamaan regresi linier dengan
variabel bebas dapat
dinyatakan dengan:
di mana:
Variabel tak bebas / pengamatan ke pada variabel yang dijelaskan
Variabel bebas / pengamatan ke pada variabel yang dijelaskan
Parameter / koefisien regresi variabel penjelas
Galat / error
Apabila terdapat sejumlah
pengamatan dan
variabel bebas
maka
untuk setiap pengamatan atau responden mempunyai persamaannya seperti
berikut:
Universitas Sumatera Utara
18
Apabila persamaan regresi linear berganda untuk setiap pengamatan
dinyatakan dengan notasi matriks maka menjadi:
[ ]
atau
[
[ ]
][ ]
(2.23)
Dalam melakukan analisis regresi linier berganda, sering dijumpai masalah
multikolinieritas pada variabel-variabel bebasnya ( ). Akibat adanya pelanggaran
terhadap salah satu asumsi yang disyaratkan pada penggunaan regresi linier
tersebut, maka tentu mempengaruhi terhadap sifat-sifat penduga atau penaksir
koefisien regresi linier gandanya. (J. Supranto, 2004) Adapun asumsi-asumsi yang
mendasari analsis regresi linier berganda tersebut antara lain:
a.
Nilai rata-rata kesalahan pengganggu nol, yaitu:
untuk
.
b.
Var
, adalah konstanta untuk semua kesalahan
pengganggu (asumsi homoskedastisitas).
c.
Tidak ada korelasi serial (autocorrelation) antara pengganggu
d.
berarti kovarian (
Variabel bebas
)
konstanta dalam sampling terulang dan
bebas terhadap kesalahan pengganggu
e.
f.
,
.
Tidak ada multikolinieritas pada variabel bebas.
, artinya kesalahan pengganggu menyebar mengikuti
distribusi normal dengan rata-rata 0 dan varians
.
Universitas Sumatera Utara
19
2.6
Metode Ordinary Least Square (OLS)
Metode Ordinary Least Square (OLS) merupakan suatu metode untuk
mendapatkan garis regresi yang baik yaitu sedekat mungkin dengan datanya
sehingga menghasilkan prediksi yang baik (Widarjono, 2005).
Metode OLS harus memenuhi asumsi-asumsi yang ada dalam proses
pengestimasian parameter sehingga hasil estimasinya memenuhi sifat Best Linear
Unbiased Estimator (BLUE). Pada dasarnya metode OLS meminimumkan jumlah
kuadrat error .
̂
̂
̂
̂
̂
[̂]
̂
(2.24)
Dengan ̂ adalah suatu vektor kolom -unsur dari estimasi OLS parameter
regresi dan adalah suatu vektor kolom
dari
residual.
Untuk mengestimasi parameter model regresi linear berganda digunakan
metode OLS. Prosedur metode OLS dilakukan dengan memilih nilai parameter
yang tidak diketahui sehingga jumlah error diperoleh ∑
sekecil mungkin,
sehingga dapat dinyatakan dengan:
̂
̂
[ ]
∑
∑
Estimasi vektor
[ ]
(
[
̂
̂
̂
̂
̂
̂
̂
̂
)
(2.25)
dengan menggunakan metode OLS, ialah vektor ̂
sedemikian sehingga jumlah kuadrat error
ialah dengan melakukan differensial parsial ∑
vector
̂
][ ̂ ]
∑
minimum. Caranya
terhadap setiap komponen
dan menyamakan dengan 0.
Universitas Sumatera Utara
20
∑
̂
̂
∑(
∑
̂
̂
̂
̂
)
∑
̂
∑(
̂
̂
̂
̂
)
∑(
̂
̂
̂
̂
)
∑
̂
∑(
̂
̂
̂
̂
)
Jika persamaannya disederhanakan maka akan menjadi
̂
̂ ∑
̂ ∑
+̂ ∑
̂ ∑
̂ ∑
̂ ∑
̂ ∑
̂
Dengan menjumlahkan persamaan
(2.26)
kemudian
=∑
̂ ∑
(2.26)
=∑
̂
̂
̂
memberikan persamaan pertama dalam persamaan
mengalikannya
menjumlahkan untuk seluruh
=∑
̂ ∑
̂ ∑
untuk seluruh pengamatan
=∑
̂ ∑
̂ ∑
̂ ∑
̂ ∑
̂ ∑
dengan
pada
kedua
sisinya
dan
maka dihasilkan persamaan kedua. Begitu juga
persamaan ketiga dalam persamaan (2.26) mengalikan kedua sisinya dengan
dan menjumlahkan untuk seluruh , dan seterusnya.
Dinyatakan dalam bentuk matriks, persamaan normal akan menjadi:
∑
∑
[∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
̂
̂
̂
̂
][ ̂ ]
[
][ ]
(2.27)
Universitas Sumatera Utara
21
Persamaan (2.27) diperoleh dari menurunkan persamaan mariks terhadap ̂ ,
sehingga diperoleh:
̂
̂
kemudian samakan hasil dengan, sehingga diperoleh:
̂
̂
̂
; kali dengan
̂
̂
yaitu:
1.
sehingga diperoleh
̂
dengan ketentuan
(2.28)
Penduga ̂ merupakan penduga tak bias linier terbaik atau efisien bagi
̂ adalah penduga tak bias bagi
Akan ditunjukkan bahwa ̂ adalah penaksir linier tak bias dari
,
. Dari
persamaan (2.23) diketahui:
̂
)
(2.29)
Dengan
( ̂)
2.
Kovarian ( ̂ )
( ̂)
[
]
( ̂
( ̂)
̂
( ̂) )
Universitas Sumatera Utara
22
[
[
[
2.7
]
]
]
Analisis Komponen Utama
Analisis komponen utama merupakan teknik statistika yang dapat digunakan
untuk mereduksi data multivariat (banyak data) dari sejumlah variabel asal
menjadi variabel baru yang bersifat orthogonal dan tetap mempertahankan jumlah
varian (keragaman) dari data asalnya.
Analisis komponen utama bertujuan untuk mengubah (mentransformasi)
sebagain besar variabel asal yang saling berkorelasi menjadi suatu set variabel
baru yang lebih kecil dan merupakan kombinasi linier dari variabel asal. Secara
umum tujuan dari analisis komponen utama adalah mereduksi dimensi data
sehingga mudah untuk menginterpretasikan data tersebut. Selanjutnya variabel
baru ini dinamakan dengan komponen utama (principal component).
Analisis komponen utama mengestrak dengan cara yaitu dengan menyerap
varian matriks korelasi yang paling banyak dari komponen pertama. Kemudian
komponen kedua yang menyerap varian terbanyak kedua terhadap sisa varian dan
begitu seterusnya sampai komponen yang terakhir menyerap varian matriks
korelasi yang paling sedikit. Pada akhirnya sejumlah komponen yang diperoleh
dapat digunakan sebagai variabel bebas (predictor ) dalam analisi regresi yang
sudah bebas dari multikolinieritas.
Jika variabel yang diamati tidak mempunyai satuan pengukuran yang sama,
maka variabel tersebut perlu dibakukan sehingga komponen utama ditentukan dari
variabel baku (Johnson dan Wichern, 1982). Variabel asal perlu ditransformasi ke
dalam variabel baku , yang dalam catatan matriks adalah:
(
)
Universitas Sumatera Utara
23
dengan:
= variabel baku
= matriks simpangan baku dengan diagonal utama
= variabel pengamatan
= nilai rata-rata variabel pengamatan
Dengan demikian komponen utana dari
dapat ditentukan dari vektor ciri
yang diperoleh melalui matriks korelasi variabel asal , di mana vektor pembobot
diperoleh dengan memaksimumkan keragaman komponen utama ke- dengan
kendala:
, serta
, untuk
.
Sehingga diperoleh komponen utama ke- dengan menggunakan variabel
baku, yaitu:
dengan:
= komponen utama ke= vektor ciri ke= variabel baku
Ragam dari komponen utama ke- adalah sama dengan akar ciri ke- , serta
antara komponen utama ke- dan komponen utama ke- tidak berkorelasi untuk
.
Untuk meregresikan komponen utama dengan variabel dengan variabel tak
bebas, perlu dihitung skor komponen utama dari setiap pengamatan ditentukan
sebagai berikut:
dengan:
= vektor pembobot komponen utama ke= vektor skor baku dari variabel yang diamati pada pengamatan keSalah satu dari tujuan komponen utama adalah mereduksi dimensi data asal,
dimana terdapat
variabel bebas menjadi
Adapun kriteria dalam pemilihan
komponen utama (di mana
).
komponen utama yaitu, didasarkan pada akar
Universitas Sumatera Utara
24
ciri yang nilainya lebih besar dari satu, artinya hanya nilai akar ciri yang lebih
besar dari satu dilibatkan dalam analisis regresi komponen utama atau dengan
melihat proporsi kumulatif keragaman data asal yang dijelaskan oleh
komponen
utama minimal 80%, dan proporsi total variansi populasi bernilai cukup besar
(Vincent Gaspersz, 1991).
2.8
Regresi Ridge
Prosedur regresi ridge pertama kali dikemukakan oleh A.E. Hoerl pada 1962.
Regresi ridge ditujukan untuk mengatasi kondisi buruk (ill-condition) yang
diakibatkan oleh korelasi yang tinggi antara beberapa variabel bebas, sehingga
menyebabkan matriks
-nya hampir singular, yang pada gilirannya
menghasilkan nilai dugaan parameter model yang tidak stabil.
Apabila terjadi multikolinieritas tidak sempurna pada variabel bebas pada
diagonal utama
ditambahkan bilangan kecil positif yang bernilai antara 0 dan
1. Kemudian degan menstranformasikan matriks
menjadi matriks korelasi
, sehingga dugaan koefisien regersi menjadi:
̂
dengan:
̂
= vektor koefisien regresi ridge
= matriks transformasi variabel bebas (
= tetapan bias (
= matriks identitas
= matriks transformasi variabel tak bebas ( )
Hubungan parameter ̂
̂
̂
dalam model baru dengan parameter
dalam model semula adalah sebagai berikut:
̂
̂
̂ (
)
̂ (
)
̅
̅
̅
̅
Universitas Sumatera Utara
25
2.9
Ridge Trace
Ridge trace adalah plot dari estimator regresi ridge secara bersama dengan
berbagai kemungkinan tetapan bias , konstanta
dalam estimator ̂
kuadrat terkecil
. Jika
maka estimator ̂
mencerminkan jumlah bias
akan bernilai sama dengan
, tetapi cenderung lebih stabil dari pada estimator kuarat
terkecil.
Pemilihan tetapan bias
merupakan hal yang sangat penting dan perlu
diperhatikan. Karena tetapan bias yang diinginkan adalah tetapan bias yang
menghasilkan bias relatif kecil dan menghasilkan koefisien yang relatif stabil.
Dari berbagai nilai
yang ada, akan dipilih nilai
yang memberikan nilai VIF
relatif dekat dengan 1.
Universitas Sumatera Utara
BAB 2
TINJAUAN PUSTAKA
2.1
Matriks
2.1.1 Definisi Matriks
Matriks adalah suatu kumpulan angka-angka yang juga sering disebut elemenelemen yang disusun secara teratur menurut baris dan kolom berbentuk persegi
panjang, dimana panjang dan lebarnya ditunjukkan oleh banyaknya kolom dan
baris serta dibatasi dengan tanda “
”, “[ ]”, atau “‖ ‖”.
Sebuah matriks dinotasikan dengan simbol
atau
berukuran
baris dan
huruf besar seperti
dan sebagainya. Sebuah matriks
yang
kolom dapat ditulis sebagai berikut:
(2.1)
Atau juga dapat ditulis:
Matriks
Setiap
[
[
]
]
, karena terdiri dari
disebut disebut matriks
disebut elemen (unsur) dari matriks
, sedangkan indeks
berturut-turut menyatakan baris dan kolom. Jadi elemen
ke- dan kolom ke- . Pasangan bilangan (
baris dan
kolom.
dan
terdapat pada baris
) disebut dimensi (ukuran atau
bentuk) dari matriks .
Contoh:
Universitas Sumatera Utara
6
Disebut matriks
digunakan
dengan 2 baris dan 3 kolom. Jika
sebuah matriks, maka
untuk menyatakan elemen yang terdapat di dalam baris dan kolom
dari . Dalam contoh ini
dan
[
atau dapat ditulis
]
2.1.2 Jenis-Jenis Matriks
Matriks Kuadrat
Matriks kuadrat adalah matriks yang banyak barisnya sama dengan banyak
kolomnya. Dalam matriks kuadrat terdapat adanya diagonal utama yaitu entrientri yang mempunyai nomor baris yang sama dengan nomor kolom. Elemenelemen tersebut adalah
.
]
[
Matriks Diagonal
Matriks diagonal adalah matriks kuadrat yang semua entri di luar diagonal
utamanya bernilai nol dan paling tidak terdapat satu elemen diagonal utama
Jumlah elemen-elemen diagonal suatu matriks kuadrat
disimbolkan dengan
disebut trace
.
[
Matriks Identitas
.
∑
]
(2.2)
Matriks identitas adalah matriks diagonal yang entri-entri pada diagonal utamnya
adalah bilangan satu dan entri-entri yang lainnya adalah bilangan nol. Matriks
identitas disimbolkan dengan .
[
]
Universitas Sumatera Utara
7
dengan:
Matriks Singular
[
Matriks kuadrat
] dikatakan singular jika semua elemen pada salah satu
baris atau kolom adalah nol atau jika semua kofaktor dari elemen suatu baris atau
kolom sama dengan nol. Untuk melihat kesingular suatu matriks adalah dengan
menghitung determinan matriks tersebut. Apabila determinannya sama dengan
nol maka matriks tersebut adalah singular.
Matriks Ortogonal
[
Matriks kuadrat
] dikatakan dapat didiagonalisasikan secara ortogonal
jika terdapat matriks ortogonal
sehingga berlaku
. Matriks
ortogonal didefinisikan sebagai matriks yang nilai inversnya sama dengan nilai
transposnya, sehingga:
Maka
adalah matriks ortogonal.
2.1.3 Operasi Matriks
Penjumlahan Matriks
Misalkan matriks
Jumlah matriks
ordo
dan
[
]
[
] dengan
dan
dapat dinyatakan oleh
.
, yang memenuhi syarat
ordo . penjumlahan matriks dapat dinyatakan dengan:
(
)
Pengurangan Matriks
Misalkan matriks
Jumlah matriks
ordo
dan
[
]
[
] dengan
dan
dapat dinyatakan oleh
.
, yang memenuhi syarat
ordo . penjumlahan matriks dapat dinyatakan dengan:
(
)
Universitas Sumatera Utara
8
Perkalian Matriks dengan Skalar
[
] dengan
, dengan
(
Misalkan
dan
suatu skalar. Perkalian matriks
dengan
dengan skalar
adalah
dapat dinyatakan dengan
).
Perkalian Matriks dengan Matriks
[
Jika
] dengan
dan
perkalian matriks
memenuhi syarat banyak kolom
∑
dan
[
dan
yang dinyatakan oleh
] dengan
harus
banyak baris . Dengan aturan:
(jumlah dari semua perkalian antara elemen
ke- dengan elemen
pada baris
pada kolom ke- )
Dengan aturan ini, dikaitkan dengan vektor kolom dan vektor baris, jika
baris ke- dari matriks
elemen matriks
dan
vektor kolom ke- dari matriks
vektor
maka elemen-
adalah:
∑
Transpose Suatu Matriks
Jika semua baris dan kolom dari suatu matriks
dipertukarkan (baris
pertama dengan kolom pertama dan seterusnya), maka diperoleh suatu matriks
yang disebut transpos, disimbolkan dengan
atau
.
Misalkan:
Maka:
[
]
[
[
]
]
Universitas Sumatera Utara
9
Determinan Matriks
Determinan adalah suatu skalar (angka) yang diturunkan dari suatu matriks
kuadrat melalui operasi khusus. Disebut operasi khusus karena dalam proses
penurunan determinan dilakukan perkalian sesuai dengan aljabar matriks. Suatu
matriks yang mempunyai determinan disebut dengan matriks singular sedangkan
matriks yang tidak mempunyai determinan (determinannya = 0) disebut matriks
non-singular .
[
Misalkan matriks kuadrat
determinan dari matriks
] dengan
. Fungsi
atau | |. Secara
dituliskan dengan
matematiknya dituliskan dengan:
| |
∑
di mana ∑ menunjukkan bahwa suku-suku tersebut harus dijumlahkan terhadap
semua permutasi (
) dan simbol
atau
dapat dipilih dalam masing-
masing suku sesuai dengan permutasi itu ganjil atau genap.
Invers Matriks
[
Matriks kuadrat
] dengan
dan
mempunyai invers jika terdapat matriks
disebut
sedemikian rupa sehingga
di mana matriks satuan.
Jika matriks
mempunyai invers maka matriks
singular. Dan jika matriks
disebut matriks non-
tidak mempunyai invers maka matriksnya disebut
matriks singular. Jika matriks
mempunyai invers maka inversnya tunggal
(unik).
Andaikan matriks
hubungan
Jadi,
dan
dan
invers dari matriks
sehingga dipenuhi
, maka
atau kedua invers matriks tersebut adalah tunggal.
Secara umum invers matriks
adalah :
(2.5)
Universitas Sumatera Utara
10
Adjoint matriks
adalah suatu matriks yang elemen-elemennya terdiri dari
semua elemen-elemen kofaktor matriks
elemen
, dengan
adalah kofaktor elemen-
. Sehingga dapat ditulis dalam bentuk matriks sebagai
berikut:
[
dengan:
]
adalah determinan dari submatriks
yang diperoleh dengan cara membuang
semua elemen pada baris ke- dan semua elemen pada kolom ke- .
2.2
Nilai Eigen dan Vektor Eigen
Kata “vektor eigen” adalah ramuan dari bahasa Jerman dan Inggris. Dalam bahasa
Jerman “eigen” dapat diterjemahkan sebagai “sebenarnya” atau “karakteristik”;
oleh karena itu, nilai eigen dapat juga dinamakan nilai sebenarnya atau nilai
karakteristik. Dalam literatur lama kadang-kadang dinamakan akar-akar laten
(Howard Anton, 1992).
Jika
adalah matriks
, maka vektor taknol
dinamakan vektor eigen (eigenvector ) dari
jika
di dalam
adalah kelipatan skalar dari
, yaitu:
(2.6)
Untuk suatu skalar . Saklar
dinamakan nilai eigen (eigenvalue) dari
dan
dikatakan vektor eigen yang bersesuaian dengan .
Nilai skalar
dapat dihitung dengan menggunakan persamaan (2.6)
dengan menulisnya secara lengkap, yaitu
[
][
]
[
]
(2.7)
Universitas Sumatera Utara
11
dari persamaan (2.7) yang memberikan sistem persamaan linier homogen:
(2.8)
atau jika dituliskan kedalam bentuk matrik, yaitu:
(2.9)
Menurut teori aljabar,
persamaan linier homogen dengan
yang tidak
diketahui (variabel), hanya dapat mempunyai penyelesaian yang tidak trivial,
dapat dituliskan menjadi:
(2.10)
Persamaan (2.10) dinamakan persamaan karakteristik
memenuhi persamaan (2.10) adalah nilai eigen dari
adalah polinom
. Skalar yang
. Apabila diperluas, maka
yang dinamakan polinom karakteristik dari
Dengan persamaan polinomnya berderajat
.
di dalam , yaitu:
(2.11)
Matriks
disebut matriks karakteristik, sedang
fungsi karakteristik dari
dan
adalah
adalah akar-akar dari persamaan (2.11) yang
menurut teori aljabar mempunyai
akar. Pada umumnya akar-akar ini komple
dan ada kemungkinan terdapat akar-akar yang sama. Akar-akar
dari
persamaan (2.11) disebut eigen value dari matriks .
Andaikan untuk setiap
dengan
mempunyai penyelesaian, misalkan
sitem persamaan (2.9)
suatu vektor yang bersesuaian dengan
, sedemikian hingga:
(2.12)
Dengan ketentuan bahwa persamaan (2.11) mempunyai
berlainan. Dalam hal ini vektor-vektor
vektor dari matriks
dengan
akar-akar yang
disebut eigen
. Karena eigen vektor merupakan penyelesaian dari sistem
persamaan linier homogen, maka penyelesaian ditentukan hanya oleh faktor
konstan dan hanya menentukan perbandingan dari unsur-unsur kolom
secara
Universitas Sumatera Utara
12
tunggal. Dalam ilmu ukur menentukan arahnya secara tunggal sedangkan panjang
vektornya boleh sebarang.
2.3
Matriks Korelasi
Matriks korelasi adalah matriks yang elemen-elemennya terdapat korelasi atau
hubungan satu sama lain. Andaikan
matriks rata-rata dan
adalah sebuah matriks data,
adalah matriks ragam peragam.
̅ adalah
dengan:
̅
Jika diubah ke dalam bentuk matriks akan menjadi:
̅
̅
[ ]
̅
][ ]
[
̅
[ ]
̅
̅ dihitung dari matriks data yang dikalikan dengan vektor
dan konstanta .
Selanjutnya, persamaan (2.13) dikalikan dengan vektor
dihasilkan matriks ̅
.
̅
Kurangkan matriks
matriks baku
, sehingga
[ ̅
̅
̅
̅
̅
̅
̅
̅
̅ ]
dengan persamaan matriks (2.14) yang menghasilkan
dinotasikan dengan .
[
̅
̅
̅
̅
̅
̅
̅
̅
̅
]
Universitas Sumatera Utara
13
Matriks
adalah perkalian silang antara matriks (2.15) dengan matriks
transposenya.
̅
̅
[
̅
̅
(
Karena
̅
)(
̅
̅
]
̅
[
)
)
(
(
̅
̅
)(
)
(
)
̅
̅
̅
̅
̅
̅
̅
̅
]
Sehingga didapat
Persamaan (2.16) menunjukkan dengan jelas bahwa hubungan operasi
perkalian matriks data
nilai
dengan
dan transpose matriks datanya. Jika
diketahui dari persamaan (2.16), maka
korelasi
dengan cara menghitung matriks
dapat dihubungkan ke matriks
.
]
[
Di mana
∑
̅ (
̅)
Maka bentuk korelasi matriks
[
adalah:
]
Universitas Sumatera Utara
14
Di mana
Untuk
2.4
√
menghasilkan
.
Multikolinieritas
Istilah kolinieritas (collinearity) berarti hubungan linier tunggal (single linier
relationship), sedangkan kolinieritas ganda (multicollinearity) menunjukkan
adanya lebih dari satu hubungan linier yang sempurna (J. Supranto, 2004).
Masalah Multikolinieritas pertama kali diperkenalkan pada tahun 1934 oleh
Ragnar Frisch serta mendefenisikan multikolinieritas adalah hubungan yang
perfect atau exact diantara sebagian atau semua variabel bebas pada suatu model
regresi, sehingga akan menyulitkan untuk mengidentifikasi variabel penjelas dan
variabel yang dijelaskan (Gunawan Sumodiningrat, 1998).
Dengan demikian
pengertian multikolinieritas berkaitan dengan adanya lebih dari satu hubungan
linier yang sempurna diantara variabel bebas.
Adanya hubungan linier diatara variabel bebas
variabel bebas
yaitu dimisalkan terdapat
. Hubungan linier yang sempurna terjadi apabila
berlaku hubungan berikut:
Di mana
merupakan bilangan konstan dan tidak seluruhnya
benilai nol atau paling tidak terdapat satu nilai yang bernilai tidak nol, yaitu
.
Jika variabel bebas itu berkorelasi linier secara sempurna, apabila koefisien
korelasi dari variabel bebasnya sama dengan
dengan demikian parameter dalam
model regresi tidak dapat ditentukan (Vincent Gaspersz, 1991).
Menurut Gunawan Sumodiningrat, ada 3 hal yang perlu dijelaskan berkaitan
dengan masalah multikolinieritas yaitu:
1.
Multikolinieritas pada hakikatnya adalah fenomena sampel, hal ini karena
adanya korelasi yang tinggi diantara sebagian atau semua variabel bebas,
Universitas Sumatera Utara
15
sehingga sampel tidak memenuhi asumsi dasar tidak adanya ketergantungan
diantara variabel bebas yang digunakan dalam model regresi.
2.
Multikolinieritas adalah masalah derajat ( degree) bukan persoalan jenis
(kind), yang dimaksud adalah adanya korelasi diantara variabel penjelas baik
sebagian maupun semua variabel bebas tanpa memperhatikan tanda negatif
maupun positif.
3.
Multikolinieritas berkaitan dengan adanya hubungan linier diantara variabel
bebas, sehingga masalah multikolinieritas tidak akan terjadi jika model
estimasi (regresi) non-linier.
2.4.1 Akibat Multikolinieritas
Multikolinieritas berakibat terhadap estimasi kuadrat terkecil dari koefisien
regresi. Berikut akan diperlihat untuk ̂ , Variansi ( ̂ ) dan kovariansi ( ̂ ̂ )
jika terdapat multikolinieritas. Misalkan terdapat dua varibel
bebas
dan
variabel terikat sehingga model
̂
persamaan normal dengan kuadrat terkecil adalah
]
[
Diperoleh
[
]
[
Elemen diagonal utama dari matriks [
Dengan
]
]
inflasi (VIF), yaitu:
merupakan nilai faktor variansi
adalah koefisien determinansi dari regresi
korelasi antara variabel
korelasi antara variabel
dan
.
.
.
dan .
Universitas Sumatera Utara
16
[
]
̂
̂
̂
̂
Jika ada multikolinieritas antara variabel
nilai korelasi
dan
yang sangat erat dan
. Variansi dan kovariansi koefisien regresi menjadi sangat
(̂ )
besar karena
seperti |
|
, galat
(̂
̂ )
, variansi yang besar untuk ̂ menyatakan bahwa koefisien regresi
adalah perkiraan yang sangat lemah. Jika diasumsikan
|
|
seperti
, perkiraan koefisien regresi menjadi sama besarnya akan tetapi menjadi
berlawanan tanda, yaitu ̂
̂ .
2.4.2 Pendeteksian Multikolinieritas
Ada beberapa untuk mendeteksi ada tidaknya multikolinieritas diantaranya yaitu:
1.
Nilai korelasi (korelasi antara varibel bebas)
Cara ini merupakan pendeteksian yang paling sederhana dan paling mudah
untuk dilakukan. Jika nilai korelasi antara variabel bebas (
melebihi 0,8
diduga terdapat masalah multikolinieritas (Gujarati, 2003).
[
∑
Untuk
2.
]
√
̅
√
̅
menghasilkan nilai korelasi
Variance Inflation Factor (VIF)
Nilai VIF merupakan diagonal utama dari invers matriks korelasi. VIF
digunakan sebagai kriteria untuk mendeteksi masalah multikolinieritas pada
regresi linier berganda yang melibatkan lebih dari dua variabel bebas. Nilai
VIF melebihi 10 menunjukkan adanya masalah multikolinieritas (Gujarati,
2003).
Universitas Sumatera Utara
17
(̂ )
dengan:
koefisien determinansi antar
dengan variabel bebas lainnya.
3. lakukan regresi antar variabel bebas dan menghitung masing-masing
,
kemudian melakukan uji-F dan bandingkan dengan F tabel. Jika nilai F hitung
melebih dari F tabel berarti dapat dinyatakan bahwa terjadi kolinieritas
terhadap variabelnya.
2.5
Regresi Linier Berganda
Analisis regresi yang sering digunakan dalam pemecahan suatu permasalahan
adalah regresi linier. Dalam perkembangannya terdapat dua jenis regresi yang
sangat terkenal, yaitu regresi linier sederhana dan regresi linier berganda. Regresi
linier sederhana digunakan untuk menggambarkan hubungan antara satu variabel
bebas ( ) dengan satu variabel tak bebas ( ). Sedangkan jika variabel bebas ( )
yang digunakan lebih dari satu, maka persamaan regresinya adalah persamaan
regresi linier berganda.
Secara umum persamaan regresi linier dengan
variabel bebas dapat
dinyatakan dengan:
di mana:
Variabel tak bebas / pengamatan ke pada variabel yang dijelaskan
Variabel bebas / pengamatan ke pada variabel yang dijelaskan
Parameter / koefisien regresi variabel penjelas
Galat / error
Apabila terdapat sejumlah
pengamatan dan
variabel bebas
maka
untuk setiap pengamatan atau responden mempunyai persamaannya seperti
berikut:
Universitas Sumatera Utara
18
Apabila persamaan regresi linear berganda untuk setiap pengamatan
dinyatakan dengan notasi matriks maka menjadi:
[ ]
atau
[
[ ]
][ ]
(2.23)
Dalam melakukan analisis regresi linier berganda, sering dijumpai masalah
multikolinieritas pada variabel-variabel bebasnya ( ). Akibat adanya pelanggaran
terhadap salah satu asumsi yang disyaratkan pada penggunaan regresi linier
tersebut, maka tentu mempengaruhi terhadap sifat-sifat penduga atau penaksir
koefisien regresi linier gandanya. (J. Supranto, 2004) Adapun asumsi-asumsi yang
mendasari analsis regresi linier berganda tersebut antara lain:
a.
Nilai rata-rata kesalahan pengganggu nol, yaitu:
untuk
.
b.
Var
, adalah konstanta untuk semua kesalahan
pengganggu (asumsi homoskedastisitas).
c.
Tidak ada korelasi serial (autocorrelation) antara pengganggu
d.
berarti kovarian (
Variabel bebas
)
konstanta dalam sampling terulang dan
bebas terhadap kesalahan pengganggu
e.
f.
,
.
Tidak ada multikolinieritas pada variabel bebas.
, artinya kesalahan pengganggu menyebar mengikuti
distribusi normal dengan rata-rata 0 dan varians
.
Universitas Sumatera Utara
19
2.6
Metode Ordinary Least Square (OLS)
Metode Ordinary Least Square (OLS) merupakan suatu metode untuk
mendapatkan garis regresi yang baik yaitu sedekat mungkin dengan datanya
sehingga menghasilkan prediksi yang baik (Widarjono, 2005).
Metode OLS harus memenuhi asumsi-asumsi yang ada dalam proses
pengestimasian parameter sehingga hasil estimasinya memenuhi sifat Best Linear
Unbiased Estimator (BLUE). Pada dasarnya metode OLS meminimumkan jumlah
kuadrat error .
̂
̂
̂
̂
̂
[̂]
̂
(2.24)
Dengan ̂ adalah suatu vektor kolom -unsur dari estimasi OLS parameter
regresi dan adalah suatu vektor kolom
dari
residual.
Untuk mengestimasi parameter model regresi linear berganda digunakan
metode OLS. Prosedur metode OLS dilakukan dengan memilih nilai parameter
yang tidak diketahui sehingga jumlah error diperoleh ∑
sekecil mungkin,
sehingga dapat dinyatakan dengan:
̂
̂
[ ]
∑
∑
Estimasi vektor
[ ]
(
[
̂
̂
̂
̂
̂
̂
̂
̂
)
(2.25)
dengan menggunakan metode OLS, ialah vektor ̂
sedemikian sehingga jumlah kuadrat error
ialah dengan melakukan differensial parsial ∑
vector
̂
][ ̂ ]
∑
minimum. Caranya
terhadap setiap komponen
dan menyamakan dengan 0.
Universitas Sumatera Utara
20
∑
̂
̂
∑(
∑
̂
̂
̂
̂
)
∑
̂
∑(
̂
̂
̂
̂
)
∑(
̂
̂
̂
̂
)
∑
̂
∑(
̂
̂
̂
̂
)
Jika persamaannya disederhanakan maka akan menjadi
̂
̂ ∑
̂ ∑
+̂ ∑
̂ ∑
̂ ∑
̂ ∑
̂ ∑
̂
Dengan menjumlahkan persamaan
(2.26)
kemudian
=∑
̂ ∑
(2.26)
=∑
̂
̂
̂
memberikan persamaan pertama dalam persamaan
mengalikannya
menjumlahkan untuk seluruh
=∑
̂ ∑
̂ ∑
untuk seluruh pengamatan
=∑
̂ ∑
̂ ∑
̂ ∑
̂ ∑
̂ ∑
dengan
pada
kedua
sisinya
dan
maka dihasilkan persamaan kedua. Begitu juga
persamaan ketiga dalam persamaan (2.26) mengalikan kedua sisinya dengan
dan menjumlahkan untuk seluruh , dan seterusnya.
Dinyatakan dalam bentuk matriks, persamaan normal akan menjadi:
∑
∑
[∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
̂
̂
̂
̂
][ ̂ ]
[
][ ]
(2.27)
Universitas Sumatera Utara
21
Persamaan (2.27) diperoleh dari menurunkan persamaan mariks terhadap ̂ ,
sehingga diperoleh:
̂
̂
kemudian samakan hasil dengan, sehingga diperoleh:
̂
̂
̂
; kali dengan
̂
̂
yaitu:
1.
sehingga diperoleh
̂
dengan ketentuan
(2.28)
Penduga ̂ merupakan penduga tak bias linier terbaik atau efisien bagi
̂ adalah penduga tak bias bagi
Akan ditunjukkan bahwa ̂ adalah penaksir linier tak bias dari
,
. Dari
persamaan (2.23) diketahui:
̂
)
(2.29)
Dengan
( ̂)
2.
Kovarian ( ̂ )
( ̂)
[
]
( ̂
( ̂)
̂
( ̂) )
Universitas Sumatera Utara
22
[
[
[
2.7
]
]
]
Analisis Komponen Utama
Analisis komponen utama merupakan teknik statistika yang dapat digunakan
untuk mereduksi data multivariat (banyak data) dari sejumlah variabel asal
menjadi variabel baru yang bersifat orthogonal dan tetap mempertahankan jumlah
varian (keragaman) dari data asalnya.
Analisis komponen utama bertujuan untuk mengubah (mentransformasi)
sebagain besar variabel asal yang saling berkorelasi menjadi suatu set variabel
baru yang lebih kecil dan merupakan kombinasi linier dari variabel asal. Secara
umum tujuan dari analisis komponen utama adalah mereduksi dimensi data
sehingga mudah untuk menginterpretasikan data tersebut. Selanjutnya variabel
baru ini dinamakan dengan komponen utama (principal component).
Analisis komponen utama mengestrak dengan cara yaitu dengan menyerap
varian matriks korelasi yang paling banyak dari komponen pertama. Kemudian
komponen kedua yang menyerap varian terbanyak kedua terhadap sisa varian dan
begitu seterusnya sampai komponen yang terakhir menyerap varian matriks
korelasi yang paling sedikit. Pada akhirnya sejumlah komponen yang diperoleh
dapat digunakan sebagai variabel bebas (predictor ) dalam analisi regresi yang
sudah bebas dari multikolinieritas.
Jika variabel yang diamati tidak mempunyai satuan pengukuran yang sama,
maka variabel tersebut perlu dibakukan sehingga komponen utama ditentukan dari
variabel baku (Johnson dan Wichern, 1982). Variabel asal perlu ditransformasi ke
dalam variabel baku , yang dalam catatan matriks adalah:
(
)
Universitas Sumatera Utara
23
dengan:
= variabel baku
= matriks simpangan baku dengan diagonal utama
= variabel pengamatan
= nilai rata-rata variabel pengamatan
Dengan demikian komponen utana dari
dapat ditentukan dari vektor ciri
yang diperoleh melalui matriks korelasi variabel asal , di mana vektor pembobot
diperoleh dengan memaksimumkan keragaman komponen utama ke- dengan
kendala:
, serta
, untuk
.
Sehingga diperoleh komponen utama ke- dengan menggunakan variabel
baku, yaitu:
dengan:
= komponen utama ke= vektor ciri ke= variabel baku
Ragam dari komponen utama ke- adalah sama dengan akar ciri ke- , serta
antara komponen utama ke- dan komponen utama ke- tidak berkorelasi untuk
.
Untuk meregresikan komponen utama dengan variabel dengan variabel tak
bebas, perlu dihitung skor komponen utama dari setiap pengamatan ditentukan
sebagai berikut:
dengan:
= vektor pembobot komponen utama ke= vektor skor baku dari variabel yang diamati pada pengamatan keSalah satu dari tujuan komponen utama adalah mereduksi dimensi data asal,
dimana terdapat
variabel bebas menjadi
Adapun kriteria dalam pemilihan
komponen utama (di mana
).
komponen utama yaitu, didasarkan pada akar
Universitas Sumatera Utara
24
ciri yang nilainya lebih besar dari satu, artinya hanya nilai akar ciri yang lebih
besar dari satu dilibatkan dalam analisis regresi komponen utama atau dengan
melihat proporsi kumulatif keragaman data asal yang dijelaskan oleh
komponen
utama minimal 80%, dan proporsi total variansi populasi bernilai cukup besar
(Vincent Gaspersz, 1991).
2.8
Regresi Ridge
Prosedur regresi ridge pertama kali dikemukakan oleh A.E. Hoerl pada 1962.
Regresi ridge ditujukan untuk mengatasi kondisi buruk (ill-condition) yang
diakibatkan oleh korelasi yang tinggi antara beberapa variabel bebas, sehingga
menyebabkan matriks
-nya hampir singular, yang pada gilirannya
menghasilkan nilai dugaan parameter model yang tidak stabil.
Apabila terjadi multikolinieritas tidak sempurna pada variabel bebas pada
diagonal utama
ditambahkan bilangan kecil positif yang bernilai antara 0 dan
1. Kemudian degan menstranformasikan matriks
menjadi matriks korelasi
, sehingga dugaan koefisien regersi menjadi:
̂
dengan:
̂
= vektor koefisien regresi ridge
= matriks transformasi variabel bebas (
= tetapan bias (
= matriks identitas
= matriks transformasi variabel tak bebas ( )
Hubungan parameter ̂
̂
̂
dalam model baru dengan parameter
dalam model semula adalah sebagai berikut:
̂
̂
̂ (
)
̂ (
)
̅
̅
̅
̅
Universitas Sumatera Utara
25
2.9
Ridge Trace
Ridge trace adalah plot dari estimator regresi ridge secara bersama dengan
berbagai kemungkinan tetapan bias , konstanta
dalam estimator ̂
kuadrat terkecil
. Jika
maka estimator ̂
mencerminkan jumlah bias
akan bernilai sama dengan
, tetapi cenderung lebih stabil dari pada estimator kuarat
terkecil.
Pemilihan tetapan bias
merupakan hal yang sangat penting dan perlu
diperhatikan. Karena tetapan bias yang diinginkan adalah tetapan bias yang
menghasilkan bias relatif kecil dan menghasilkan koefisien yang relatif stabil.
Dari berbagai nilai
yang ada, akan dipilih nilai
yang memberikan nilai VIF
relatif dekat dengan 1.
Universitas Sumatera Utara