Analisis Perbandingan Regresi Komponen Utama dan Regresi Ridge untuk Mengatasi Masalah Multikolinieritas pada Model Regresi Linier Berganda

5

BAB 2

TINJAUAN PUSTAKA

2.1

Matriks

2.1.1 Definisi Matriks

Matriks adalah suatu kumpulan angka-angka yang juga sering disebut elemenelemen yang disusun secara teratur menurut baris dan kolom berbentuk persegi
panjang, dimana panjang dan lebarnya ditunjukkan oleh banyaknya kolom dan
baris serta dibatasi dengan tanda “

”, “[ ]”, atau “‖ ‖”.

Sebuah matriks dinotasikan dengan simbol
atau
berukuran


baris dan

huruf besar seperti

dan sebagainya. Sebuah matriks

yang

kolom dapat ditulis sebagai berikut:

(2.1)

Atau juga dapat ditulis:

Matriks
Setiap

[


[

]

]

, karena terdiri dari

disebut disebut matriks

disebut elemen (unsur) dari matriks

, sedangkan indeks

berturut-turut menyatakan baris dan kolom. Jadi elemen
ke- dan kolom ke- . Pasangan bilangan (

baris dan

kolom.

dan

terdapat pada baris

) disebut dimensi (ukuran atau

bentuk) dari matriks .
Contoh:

Universitas Sumatera Utara

6

Disebut matriks
digunakan

dengan 2 baris dan 3 kolom. Jika

sebuah matriks, maka


untuk menyatakan elemen yang terdapat di dalam baris dan kolom

dari . Dalam contoh ini

dan
[

atau dapat ditulis

]

2.1.2 Jenis-Jenis Matriks

Matriks Kuadrat
Matriks kuadrat adalah matriks yang banyak barisnya sama dengan banyak
kolomnya. Dalam matriks kuadrat terdapat adanya diagonal utama yaitu entrientri yang mempunyai nomor baris yang sama dengan nomor kolom. Elemenelemen tersebut adalah

.
]


[
Matriks Diagonal

Matriks diagonal adalah matriks kuadrat yang semua entri di luar diagonal
utamanya bernilai nol dan paling tidak terdapat satu elemen diagonal utama
Jumlah elemen-elemen diagonal suatu matriks kuadrat
disimbolkan dengan

disebut trace

.
[

Matriks Identitas

.



]

(2.2)

Matriks identitas adalah matriks diagonal yang entri-entri pada diagonal utamnya
adalah bilangan satu dan entri-entri yang lainnya adalah bilangan nol. Matriks
identitas disimbolkan dengan .
[

]

Universitas Sumatera Utara

7

dengan:

Matriks Singular
[

Matriks kuadrat


] dikatakan singular jika semua elemen pada salah satu

baris atau kolom adalah nol atau jika semua kofaktor dari elemen suatu baris atau
kolom sama dengan nol. Untuk melihat kesingular suatu matriks adalah dengan

menghitung determinan matriks tersebut. Apabila determinannya sama dengan
nol maka matriks tersebut adalah singular.
Matriks Ortogonal
[

Matriks kuadrat

] dikatakan dapat didiagonalisasikan secara ortogonal

jika terdapat matriks ortogonal

sehingga berlaku

. Matriks


ortogonal didefinisikan sebagai matriks yang nilai inversnya sama dengan nilai
transposnya, sehingga:

Maka

adalah matriks ortogonal.

2.1.3 Operasi Matriks

Penjumlahan Matriks
Misalkan matriks
Jumlah matriks
ordo

dan

[

]


[

] dengan

dan

dapat dinyatakan oleh

.

, yang memenuhi syarat

ordo . penjumlahan matriks dapat dinyatakan dengan:
(

)

Pengurangan Matriks
Misalkan matriks
Jumlah matriks

ordo

dan

[

]

[

] dengan

dan

dapat dinyatakan oleh

.

, yang memenuhi syarat


ordo . penjumlahan matriks dapat dinyatakan dengan:
(

)

Universitas Sumatera Utara

8

Perkalian Matriks dengan Skalar
[

] dengan

, dengan

(

Misalkan

dan

suatu skalar. Perkalian matriks

dengan

dengan skalar

adalah

dapat dinyatakan dengan
).

Perkalian Matriks dengan Matriks
[

Jika

] dengan

dan

perkalian matriks

memenuhi syarat banyak kolom


dan

[

dan
yang dinyatakan oleh

] dengan

harus

banyak baris . Dengan aturan:

(jumlah dari semua perkalian antara elemen
ke- dengan elemen

pada baris

pada kolom ke- )

Dengan aturan ini, dikaitkan dengan vektor kolom dan vektor baris, jika
baris ke- dari matriks
elemen matriks

dan

vektor kolom ke- dari matriks

vektor

maka elemen-

adalah:


Transpose Suatu Matriks
Jika semua baris dan kolom dari suatu matriks

dipertukarkan (baris

pertama dengan kolom pertama dan seterusnya), maka diperoleh suatu matriks
yang disebut transpos, disimbolkan dengan

atau

.

Misalkan:

Maka:

[

]

[

[

]

]

Universitas Sumatera Utara

9

Determinan Matriks
Determinan adalah suatu skalar (angka) yang diturunkan dari suatu matriks
kuadrat melalui operasi khusus. Disebut operasi khusus karena dalam proses
penurunan determinan dilakukan perkalian sesuai dengan aljabar matriks. Suatu
matriks yang mempunyai determinan disebut dengan matriks singular sedangkan
matriks yang tidak mempunyai determinan (determinannya = 0) disebut matriks
non-singular .

[

Misalkan matriks kuadrat
determinan dari matriks

] dengan

. Fungsi
atau | |. Secara

dituliskan dengan

matematiknya dituliskan dengan:
| |



di mana ∑ menunjukkan bahwa suku-suku tersebut harus dijumlahkan terhadap
semua permutasi (

) dan simbol

atau

dapat dipilih dalam masing-

masing suku sesuai dengan permutasi itu ganjil atau genap.
Invers Matriks
[

Matriks kuadrat

] dengan

dan

mempunyai invers jika terdapat matriks

disebut

sedemikian rupa sehingga

di mana matriks satuan.
Jika matriks

mempunyai invers maka matriks

singular. Dan jika matriks

disebut matriks non-

tidak mempunyai invers maka matriksnya disebut

matriks singular. Jika matriks

mempunyai invers maka inversnya tunggal

(unik).
Andaikan matriks
hubungan

Jadi,

dan

dan

invers dari matriks

sehingga dipenuhi

, maka

atau kedua invers matriks tersebut adalah tunggal.

Secara umum invers matriks

adalah :
(2.5)

Universitas Sumatera Utara

10

Adjoint matriks

adalah suatu matriks yang elemen-elemennya terdiri dari

semua elemen-elemen kofaktor matriks
elemen

, dengan

adalah kofaktor elemen-

. Sehingga dapat ditulis dalam bentuk matriks sebagai

berikut:

[

dengan:

]

adalah determinan dari submatriks

yang diperoleh dengan cara membuang

semua elemen pada baris ke- dan semua elemen pada kolom ke- .

2.2

Nilai Eigen dan Vektor Eigen

Kata “vektor eigen” adalah ramuan dari bahasa Jerman dan Inggris. Dalam bahasa
Jerman “eigen” dapat diterjemahkan sebagai “sebenarnya” atau “karakteristik”;
oleh karena itu, nilai eigen dapat juga dinamakan nilai sebenarnya atau nilai
karakteristik. Dalam literatur lama kadang-kadang dinamakan akar-akar laten
(Howard Anton, 1992).
Jika

adalah matriks

, maka vektor taknol

dinamakan vektor eigen (eigenvector ) dari

jika

di dalam

adalah kelipatan skalar dari

, yaitu:
(2.6)
Untuk suatu skalar . Saklar

dinamakan nilai eigen (eigenvalue) dari

dan

dikatakan vektor eigen yang bersesuaian dengan .
Nilai skalar

dapat dihitung dengan menggunakan persamaan (2.6)

dengan menulisnya secara lengkap, yaitu
[

][

]

[

]

(2.7)

Universitas Sumatera Utara

11

dari persamaan (2.7) yang memberikan sistem persamaan linier homogen:

(2.8)

atau jika dituliskan kedalam bentuk matrik, yaitu:
(2.9)
Menurut teori aljabar,

persamaan linier homogen dengan

yang tidak

diketahui (variabel), hanya dapat mempunyai penyelesaian yang tidak trivial,
dapat dituliskan menjadi:
(2.10)
Persamaan (2.10) dinamakan persamaan karakteristik
memenuhi persamaan (2.10) adalah nilai eigen dari
adalah polinom

. Skalar yang

. Apabila diperluas, maka

yang dinamakan polinom karakteristik dari

Dengan persamaan polinomnya berderajat

.

di dalam , yaitu:
(2.11)

Matriks

disebut matriks karakteristik, sedang

fungsi karakteristik dari

dan

adalah

adalah akar-akar dari persamaan (2.11) yang

menurut teori aljabar mempunyai

akar. Pada umumnya akar-akar ini komple

dan ada kemungkinan terdapat akar-akar yang sama. Akar-akar

dari

persamaan (2.11) disebut eigen value dari matriks .
Andaikan untuk setiap

dengan

mempunyai penyelesaian, misalkan

sitem persamaan (2.9)
suatu vektor yang bersesuaian dengan

, sedemikian hingga:
(2.12)
Dengan ketentuan bahwa persamaan (2.11) mempunyai
berlainan. Dalam hal ini vektor-vektor
vektor dari matriks

dengan

akar-akar yang
disebut eigen

. Karena eigen vektor merupakan penyelesaian dari sistem

persamaan linier homogen, maka penyelesaian ditentukan hanya oleh faktor
konstan dan hanya menentukan perbandingan dari unsur-unsur kolom

secara

Universitas Sumatera Utara

12

tunggal. Dalam ilmu ukur menentukan arahnya secara tunggal sedangkan panjang
vektornya boleh sebarang.

2.3

Matriks Korelasi

Matriks korelasi adalah matriks yang elemen-elemennya terdapat korelasi atau
hubungan satu sama lain. Andaikan
matriks rata-rata dan

adalah sebuah matriks data,

adalah matriks ragam peragam.

̅ adalah

dengan:
̅

Jika diubah ke dalam bentuk matriks akan menjadi:
̅

̅
[ ]
̅

][ ]

[

̅

[ ]

̅

̅ dihitung dari matriks data yang dikalikan dengan vektor

dan konstanta .

Selanjutnya, persamaan (2.13) dikalikan dengan vektor

dihasilkan matriks ̅

.
̅

Kurangkan matriks
matriks baku

, sehingga

[ ̅

̅

̅
̅

̅

̅

̅
̅

̅ ]

dengan persamaan matriks (2.14) yang menghasilkan

dinotasikan dengan .
[

̅
̅

̅

̅
̅

̅

̅
̅

̅

]

Universitas Sumatera Utara

13

Matriks

adalah perkalian silang antara matriks (2.15) dengan matriks

transposenya.
̅

̅

[

̅

̅

(
Karena

̅

)(

̅
̅

]

̅

[

)

)

(

(

̅

̅

)(

)

(

)

̅
̅
̅

̅

̅

̅
̅

̅

]

Sehingga didapat

Persamaan (2.16) menunjukkan dengan jelas bahwa hubungan operasi
perkalian matriks data
nilai

dengan

dan transpose matriks datanya. Jika

diketahui dari persamaan (2.16), maka

korelasi

dengan cara menghitung matriks

dapat dihubungkan ke matriks
.
]

[
Di mana


̅ (

̅)

Maka bentuk korelasi matriks
[

adalah:
]

Universitas Sumatera Utara

14

Di mana

Untuk

2.4



menghasilkan

.

Multikolinieritas

Istilah kolinieritas (collinearity) berarti hubungan linier tunggal (single linier
relationship), sedangkan kolinieritas ganda (multicollinearity) menunjukkan

adanya lebih dari satu hubungan linier yang sempurna (J. Supranto, 2004).
Masalah Multikolinieritas pertama kali diperkenalkan pada tahun 1934 oleh
Ragnar Frisch serta mendefenisikan multikolinieritas adalah hubungan yang
perfect atau exact diantara sebagian atau semua variabel bebas pada suatu model

regresi, sehingga akan menyulitkan untuk mengidentifikasi variabel penjelas dan
variabel yang dijelaskan (Gunawan Sumodiningrat, 1998).

Dengan demikian

pengertian multikolinieritas berkaitan dengan adanya lebih dari satu hubungan
linier yang sempurna diantara variabel bebas.
Adanya hubungan linier diatara variabel bebas
variabel bebas

yaitu dimisalkan terdapat

. Hubungan linier yang sempurna terjadi apabila

berlaku hubungan berikut:

Di mana

merupakan bilangan konstan dan tidak seluruhnya

benilai nol atau paling tidak terdapat satu nilai yang bernilai tidak nol, yaitu
.
Jika variabel bebas itu berkorelasi linier secara sempurna, apabila koefisien
korelasi dari variabel bebasnya sama dengan

dengan demikian parameter dalam

model regresi tidak dapat ditentukan (Vincent Gaspersz, 1991).
Menurut Gunawan Sumodiningrat, ada 3 hal yang perlu dijelaskan berkaitan
dengan masalah multikolinieritas yaitu:
1.

Multikolinieritas pada hakikatnya adalah fenomena sampel, hal ini karena
adanya korelasi yang tinggi diantara sebagian atau semua variabel bebas,

Universitas Sumatera Utara

15

sehingga sampel tidak memenuhi asumsi dasar tidak adanya ketergantungan
diantara variabel bebas yang digunakan dalam model regresi.
2.

Multikolinieritas adalah masalah derajat ( degree) bukan persoalan jenis
(kind), yang dimaksud adalah adanya korelasi diantara variabel penjelas baik
sebagian maupun semua variabel bebas tanpa memperhatikan tanda negatif
maupun positif.

3.

Multikolinieritas berkaitan dengan adanya hubungan linier diantara variabel
bebas, sehingga masalah multikolinieritas tidak akan terjadi jika model
estimasi (regresi) non-linier.

2.4.1 Akibat Multikolinieritas

Multikolinieritas berakibat terhadap estimasi kuadrat terkecil dari koefisien
regresi. Berikut akan diperlihat untuk ̂ , Variansi ( ̂ ) dan kovariansi ( ̂ ̂ )

jika terdapat multikolinieritas. Misalkan terdapat dua varibel

bebas

dan

variabel terikat sehingga model
̂

persamaan normal dengan kuadrat terkecil adalah
]

[

Diperoleh

[

]

[

Elemen diagonal utama dari matriks [

Dengan

]

]

inflasi (VIF), yaitu:

merupakan nilai faktor variansi

adalah koefisien determinansi dari regresi
korelasi antara variabel

korelasi antara variabel

dan

.

.

.

dan .

Universitas Sumatera Utara

16

[

]

̂
̂

̂

̂

Jika ada multikolinieritas antara variabel
nilai korelasi

dan

yang sangat erat dan

. Variansi dan kovariansi koefisien regresi menjadi sangat
(̂ )

besar karena

seperti |

|

, galat



̂ )

, variansi yang besar untuk ̂ menyatakan bahwa koefisien regresi

adalah perkiraan yang sangat lemah. Jika diasumsikan
|

|

seperti

, perkiraan koefisien regresi menjadi sama besarnya akan tetapi menjadi

berlawanan tanda, yaitu ̂

̂ .

2.4.2 Pendeteksian Multikolinieritas

Ada beberapa untuk mendeteksi ada tidaknya multikolinieritas diantaranya yaitu:
1.

Nilai korelasi (korelasi antara varibel bebas)
Cara ini merupakan pendeteksian yang paling sederhana dan paling mudah
untuk dilakukan. Jika nilai korelasi antara variabel bebas (

melebihi 0,8

diduga terdapat masalah multikolinieritas (Gujarati, 2003).
[


Untuk
2.

]


̅



̅

menghasilkan nilai korelasi

Variance Inflation Factor (VIF)

Nilai VIF merupakan diagonal utama dari invers matriks korelasi. VIF
digunakan sebagai kriteria untuk mendeteksi masalah multikolinieritas pada
regresi linier berganda yang melibatkan lebih dari dua variabel bebas. Nilai
VIF melebihi 10 menunjukkan adanya masalah multikolinieritas (Gujarati,
2003).

Universitas Sumatera Utara

17

(̂ )

dengan:

koefisien determinansi antar

dengan variabel bebas lainnya.

3. lakukan regresi antar variabel bebas dan menghitung masing-masing

,

kemudian melakukan uji-F dan bandingkan dengan F tabel. Jika nilai F hitung
melebih dari F tabel berarti dapat dinyatakan bahwa terjadi kolinieritas
terhadap variabelnya.

2.5

Regresi Linier Berganda

Analisis regresi yang sering digunakan dalam pemecahan suatu permasalahan
adalah regresi linier. Dalam perkembangannya terdapat dua jenis regresi yang
sangat terkenal, yaitu regresi linier sederhana dan regresi linier berganda. Regresi
linier sederhana digunakan untuk menggambarkan hubungan antara satu variabel
bebas ( ) dengan satu variabel tak bebas ( ). Sedangkan jika variabel bebas ( )
yang digunakan lebih dari satu, maka persamaan regresinya adalah persamaan
regresi linier berganda.
Secara umum persamaan regresi linier dengan

variabel bebas dapat

dinyatakan dengan:

di mana:
Variabel tak bebas / pengamatan ke pada variabel yang dijelaskan
Variabel bebas / pengamatan ke pada variabel yang dijelaskan
Parameter / koefisien regresi variabel penjelas
Galat / error
Apabila terdapat sejumlah

pengamatan dan

variabel bebas

maka

untuk setiap pengamatan atau responden mempunyai persamaannya seperti
berikut:

Universitas Sumatera Utara

18

Apabila persamaan regresi linear berganda untuk setiap pengamatan
dinyatakan dengan notasi matriks maka menjadi:

[ ]

atau

[

[ ]

][ ]

(2.23)
Dalam melakukan analisis regresi linier berganda, sering dijumpai masalah
multikolinieritas pada variabel-variabel bebasnya ( ). Akibat adanya pelanggaran
terhadap salah satu asumsi yang disyaratkan pada penggunaan regresi linier
tersebut, maka tentu mempengaruhi terhadap sifat-sifat penduga atau penaksir
koefisien regresi linier gandanya. (J. Supranto, 2004) Adapun asumsi-asumsi yang
mendasari analsis regresi linier berganda tersebut antara lain:
a.

Nilai rata-rata kesalahan pengganggu nol, yaitu:

untuk

.
b.

Var

, adalah konstanta untuk semua kesalahan

pengganggu (asumsi homoskedastisitas).
c.

Tidak ada korelasi serial (autocorrelation) antara pengganggu

d.

berarti kovarian (

Variabel bebas

)

konstanta dalam sampling terulang dan

bebas terhadap kesalahan pengganggu
e.
f.

,

.

Tidak ada multikolinieritas pada variabel bebas.
, artinya kesalahan pengganggu menyebar mengikuti
distribusi normal dengan rata-rata 0 dan varians

.

Universitas Sumatera Utara

19

2.6

Metode Ordinary Least Square (OLS)

Metode Ordinary Least Square (OLS) merupakan suatu metode untuk
mendapatkan garis regresi yang baik yaitu sedekat mungkin dengan datanya
sehingga menghasilkan prediksi yang baik (Widarjono, 2005).
Metode OLS harus memenuhi asumsi-asumsi yang ada dalam proses
pengestimasian parameter sehingga hasil estimasinya memenuhi sifat Best Linear
Unbiased Estimator (BLUE). Pada dasarnya metode OLS meminimumkan jumlah

kuadrat error .

̂

̂
̂
̂

̂

[̂]

̂

(2.24)

Dengan ̂ adalah suatu vektor kolom -unsur dari estimasi OLS parameter

regresi dan adalah suatu vektor kolom

dari

residual.

Untuk mengestimasi parameter model regresi linear berganda digunakan
metode OLS. Prosedur metode OLS dilakukan dengan memilih nilai parameter
yang tidak diketahui sehingga jumlah error diperoleh ∑

sekecil mungkin,

sehingga dapat dinyatakan dengan:

̂
̂
[ ]




Estimasi vektor

[ ]
(

[

̂

̂

̂

̂

̂

̂

̂

̂

)

(2.25)

dengan menggunakan metode OLS, ialah vektor ̂

sedemikian sehingga jumlah kuadrat error

ialah dengan melakukan differensial parsial ∑
vector

̂

][ ̂ ]



minimum. Caranya

terhadap setiap komponen

dan menyamakan dengan 0.

Universitas Sumatera Utara

20


̂

̂

∑(


̂

̂

̂

̂

)


̂

∑(

̂

̂

̂

̂

)

∑(

̂

̂

̂

̂

)


̂

∑(

̂

̂

̂

̂

)

Jika persamaannya disederhanakan maka akan menjadi
̂

̂ ∑

̂ ∑

+̂ ∑

̂ ∑

̂ ∑

̂ ∑

̂ ∑

̂

Dengan menjumlahkan persamaan

(2.26)

kemudian

=∑

̂ ∑

(2.26)

=∑

̂

̂

̂

memberikan persamaan pertama dalam persamaan

mengalikannya

menjumlahkan untuk seluruh

=∑

̂ ∑

̂ ∑

untuk seluruh pengamatan

=∑

̂ ∑

̂ ∑

̂ ∑

̂ ∑

̂ ∑

dengan

pada

kedua

sisinya

dan

maka dihasilkan persamaan kedua. Begitu juga

persamaan ketiga dalam persamaan (2.26) mengalikan kedua sisinya dengan
dan menjumlahkan untuk seluruh , dan seterusnya.
Dinyatakan dalam bentuk matriks, persamaan normal akan menjadi:



[∑


















̂

̂
̂
̂

][ ̂ ]

[

][ ]
(2.27)

Universitas Sumatera Utara

21

Persamaan (2.27) diperoleh dari menurunkan persamaan mariks terhadap ̂ ,

sehingga diperoleh:

̂

̂

kemudian samakan hasil dengan, sehingga diperoleh:

̂

̂

̂

; kali dengan
̂

̂

yaitu:
1.

sehingga diperoleh

̂

dengan ketentuan

(2.28)

Penduga ̂ merupakan penduga tak bias linier terbaik atau efisien bagi

̂ adalah penduga tak bias bagi

Akan ditunjukkan bahwa ̂ adalah penaksir linier tak bias dari

,

. Dari

persamaan (2.23) diketahui:
̂

)

(2.29)
Dengan
( ̂)

2.

Kovarian ( ̂ )

( ̂)

[

]

( ̂

( ̂)

̂

( ̂) )

Universitas Sumatera Utara

22

[

[

[

2.7

]

]

]

Analisis Komponen Utama

Analisis komponen utama merupakan teknik statistika yang dapat digunakan
untuk mereduksi data multivariat (banyak data) dari sejumlah variabel asal
menjadi variabel baru yang bersifat orthogonal dan tetap mempertahankan jumlah
varian (keragaman) dari data asalnya.
Analisis komponen utama bertujuan untuk mengubah (mentransformasi)
sebagain besar variabel asal yang saling berkorelasi menjadi suatu set variabel
baru yang lebih kecil dan merupakan kombinasi linier dari variabel asal. Secara
umum tujuan dari analisis komponen utama adalah mereduksi dimensi data
sehingga mudah untuk menginterpretasikan data tersebut. Selanjutnya variabel
baru ini dinamakan dengan komponen utama (principal component).
Analisis komponen utama mengestrak dengan cara yaitu dengan menyerap
varian matriks korelasi yang paling banyak dari komponen pertama. Kemudian
komponen kedua yang menyerap varian terbanyak kedua terhadap sisa varian dan
begitu seterusnya sampai komponen yang terakhir menyerap varian matriks
korelasi yang paling sedikit. Pada akhirnya sejumlah komponen yang diperoleh
dapat digunakan sebagai variabel bebas (predictor ) dalam analisi regresi yang
sudah bebas dari multikolinieritas.
Jika variabel yang diamati tidak mempunyai satuan pengukuran yang sama,
maka variabel tersebut perlu dibakukan sehingga komponen utama ditentukan dari
variabel baku (Johnson dan Wichern, 1982). Variabel asal perlu ditransformasi ke
dalam variabel baku , yang dalam catatan matriks adalah:
(

)

Universitas Sumatera Utara

23

dengan:
= variabel baku
= matriks simpangan baku dengan diagonal utama
= variabel pengamatan
= nilai rata-rata variabel pengamatan
Dengan demikian komponen utana dari

dapat ditentukan dari vektor ciri

yang diperoleh melalui matriks korelasi variabel asal , di mana vektor pembobot
diperoleh dengan memaksimumkan keragaman komponen utama ke- dengan
kendala:
, serta

, untuk

.

Sehingga diperoleh komponen utama ke- dengan menggunakan variabel
baku, yaitu:

dengan:
= komponen utama ke= vektor ciri ke= variabel baku
Ragam dari komponen utama ke- adalah sama dengan akar ciri ke- , serta
antara komponen utama ke- dan komponen utama ke- tidak berkorelasi untuk
.
Untuk meregresikan komponen utama dengan variabel dengan variabel tak
bebas, perlu dihitung skor komponen utama dari setiap pengamatan ditentukan
sebagai berikut:

dengan:
= vektor pembobot komponen utama ke= vektor skor baku dari variabel yang diamati pada pengamatan keSalah satu dari tujuan komponen utama adalah mereduksi dimensi data asal,
dimana terdapat

variabel bebas menjadi

Adapun kriteria dalam pemilihan

komponen utama (di mana

).

komponen utama yaitu, didasarkan pada akar

Universitas Sumatera Utara

24

ciri yang nilainya lebih besar dari satu, artinya hanya nilai akar ciri yang lebih
besar dari satu dilibatkan dalam analisis regresi komponen utama atau dengan
melihat proporsi kumulatif keragaman data asal yang dijelaskan oleh

komponen

utama minimal 80%, dan proporsi total variansi populasi bernilai cukup besar
(Vincent Gaspersz, 1991).
2.8

Regresi Ridge

Prosedur regresi ridge pertama kali dikemukakan oleh A.E. Hoerl pada 1962.
Regresi ridge ditujukan untuk mengatasi kondisi buruk (ill-condition) yang
diakibatkan oleh korelasi yang tinggi antara beberapa variabel bebas, sehingga
menyebabkan matriks

-nya hampir singular, yang pada gilirannya

menghasilkan nilai dugaan parameter model yang tidak stabil.
Apabila terjadi multikolinieritas tidak sempurna pada variabel bebas pada
diagonal utama

ditambahkan bilangan kecil positif yang bernilai antara 0 dan

1. Kemudian degan menstranformasikan matriks

menjadi matriks korelasi

, sehingga dugaan koefisien regersi menjadi:
̂

dengan:
̂

= vektor koefisien regresi ridge
= matriks transformasi variabel bebas (
= tetapan bias (
= matriks identitas
= matriks transformasi variabel tak bebas ( )

Hubungan parameter ̂

̂

̂

dalam model baru dengan parameter

dalam model semula adalah sebagai berikut:

̂

̂

̂ (

)

̂ (

)

̅

̅

̅

̅

Universitas Sumatera Utara

25

2.9

Ridge Trace

Ridge trace adalah plot dari estimator regresi ridge secara bersama dengan
berbagai kemungkinan tetapan bias , konstanta
dalam estimator ̂

kuadrat terkecil

. Jika

maka estimator ̂

mencerminkan jumlah bias
akan bernilai sama dengan

, tetapi cenderung lebih stabil dari pada estimator kuarat

terkecil.
Pemilihan tetapan bias

merupakan hal yang sangat penting dan perlu

diperhatikan. Karena tetapan bias yang diinginkan adalah tetapan bias yang
menghasilkan bias relatif kecil dan menghasilkan koefisien yang relatif stabil.
Dari berbagai nilai

yang ada, akan dipilih nilai

yang memberikan nilai VIF

relatif dekat dengan 1.

Universitas Sumatera Utara