Selanjutnya, jika model regresi layak digunakan akan dilakukan lagi uji terhadap koefisien-koefisien regresi secara terpisah untuk mengetahui apakah
koefisien tersebut layak dipakai dalam persamaan atau tidak.
Rumusan hipotesis untuk menguji parameter regresi secara parsial adalah sebagai berikut :
artinya koefisien regresi ke–
j
tidak signifikan atau variabel bebas ke-
j
tidak berpengaruh nyata terhadap
Y
. artinya koefisien regresi ke-
j
signifikan atau variabel bebas ke-
j
berpengaruh nyata terhadap Y.
Statistik uji yang digunakan untuk menguji parameter regresi secara parsial adalah:
̂
̂ √ ̂
2.23
Jika |
̂ |
maka ditolak yang artinya variabel bebas ke-
j
berpengaruh nyata terhadap
Y
.
2.6 Koefisien Determinasi
Koefisien determinasi adalah nilai yang menunjukkan seberapa besar nilai variabel
Y
dijelaskan oleh variable
X
. Koefisien determinasi merupakan salah satu patokan yang biasa digunakan untuk melihat apakah suatu model regresi yang dicocokkan belum
atau sudah memadai, yang dinotasikan dengan
R
2
. Koefisien determinasi ini hannya menunjukkan ukuran proporsi variansi total dalam respon
Y
yang diterangkan oleh model yang dicocokkan Walpole dan Myers, 1995
Nilai koefisien determinasi dapat diperoleh dengan rumus :
di mana : 2.24
Universitas Sumatera Utara
Nilai
R
2
yang mendekati 0
nol
menunjukkan bahwa data sangat tidak cocok dengan model regresi yang ada. Sebaliknya, jika nilai
R
2
mendekati 1
satu
menunjukkan bahwa data cocok terhadap model regresi. Dapat disimpulkan bahwa nilai
R
2
yang diperoleh sesuai dengan yang dijelaskan masing-masing faktor yang tinggal di dalam regresi. Hal ini mengakibatkan bahwa yang dijelaskan hannyalah
disebabkan faktor yang mempengaruhinya saja. Besarnya variansi yang dijelaskan penduga sering dinyatakan dalam persen. Persentase variansi penduga tersebut adalah
2.7 Multikolinieritas
Istilah multikolinieritas pertama kali diperkenalkan oleh Ragnar Frisch pada tahun 1934, yang menyatakan bahwa multikolinieritas terjadi jika adanya hubungan linier
yang sempurna
perfec
t atau pasti
exact
diantara beberapa atau semua variabel bebas
dari model regresi berganda Rahardiantoro 2008.
Maksud dari adanya hubungan linier antar sesama variable adalah :
Misalkan terdapat k variable bebas . Hubungan linier yang
sempurnapasti terjadi jika berlaku hubungan berikut : 2.25
Dimana merupakan bilangan konstan dan tidak seluruhnya nol atau
paling tidak ada satu yang tidak sama dengan nol, yaitu
Jika terdapat korelasi sempurna diantara sesama variabel bebas, sehingga nilai koefisien korelasi diantara sesama variabel ini sama dengan satu, maka
konsekuensinya adalah koefisien-koefisien regresi menjadi tidak dapat ditaksir, nilai standar eror setiap koefisien regresi menjadi tak hingga.
Pada analisis regresi, multikolinieritas dikatakan ada apabila beberapa kondisi berikut dipenuhi :
1. Dua variable berkorelasi sempurna oleh karena itu vektor–vektor yang
menggambarkan variabel tersebut adalah kolinier.
Universitas Sumatera Utara
2. Dua variabel bebas hampir berkorelasi sempurna yaitu koefisien korelasinya
mendekati .
3. Kombinasi linier dari beberapa variabel bebas berkorelasi sempurna atau
mendekati sempurna dengan variable bebas yang lain. 4.
Kombinasi linier dari satu sub-himpunan variabel bebas berkorelasi sempurna dengan suatu kombinasi linier dari sub-himpunan variabel bebas yang lain.
2.7.1 Pendeteksian Multikolinieritas
Ada beberapa cara untuk mengetahui ada tidaknya multikolinieritas, yaitu : 1.
Nilai korelasi korelasi antar peubah bebas. Prosedur ini merupakan pendeteksian yang paling sederhana dan paling
mudah. Jika nilai korelasi antar peubah melebihi 0,75 diduga terdapat
gejala multikolinieritas. [
]
∑
̅ √
̅ √
2.26 Untuk
menghasilkan
2. Faktor Variansi Inflasi Variance Inflation Factor, VIF.
VIF adalah elemen-elemen diagonal utama dari invers matriks korelasi. VIF digunakan sebagai kriteria untuk mendeksi multikolinieritas pada regresi linier
berganda yang melibatkan lebih dari dua variabel bebas. Nilai VIF lebih besar dari 10 mengindikasikan adanya masalah multikolinieritas yang serius.
VIF untuk koefisien regresi –
j
didefinisikan sebagai berikut : 2.27
dengan : = Koefisien determinasi antar
dengan variabel bebas lainnya
j =
1, 2, …, p
Universitas Sumatera Utara
2.7.2 Pengaruh Multikolinieritas
Koefisien regresi penduga ̂ yang diperoleh dengan metode kuadrat terkecil
mempunyai banyak kelemahan apabila terjadi multikolinieritas diantara variabel bebas, yaitu :
1. Variansi ̂ Besar
Apabila determinan dari matriks , akibatnya variansi akan semakin
besar sehingga penduga kuadrat terkecil tidak efisien karena memiliki ragam dan peragam yang besar. Dalam kasus multikolinieritas penduga kuadrat
tekecil tetap tak bias karena sifat ketakbiasan tidak ditentukan oleh asumsi tidak adanya multikolinieritas, hannya akibat multikolinieritas penduga
memiliki ragam yang besar dan tidak dapat lagi disebut sebagai penduga yang memiliki sifat linier, tak bias, dan mempunyai varian minimum atau yang
disebut BLUE
best linier unbiased estimator
.
2. Selang Kepercayaan Penduga Lebih Lebar
Dalam situasi multikolinieritas antara variabel-variabel bebas dalam model regresi linier mengakibatkan variansi penduga kuadrat terkecil menjadi besar
sehingga menghasilkan galat baku yang lebih besar, akibatnya selang kepercayaan bagi parameter model regresi menjadi lebih besar.
3. Nilai Statistik-
t
yang Tidak Nyata Multikolinieritas yang mengakibatkan galat baku penduga kuadrat terkecil
menjadi lebih besar, maka statistik
t
yang didefinisikan sebagai rasio antara koefisien penduga dan galat baku koefisien penduga menjadi lebih kecil.
Akibatnya meningkatkan besarnya peluang menerima hipotesis yang salah
kesalahan akan meningkat
, karena suatu hipotesis yang seharusnya ditolak tetapi berdasarkan pengujian hipotesis diputuskan untuk diterima, sebagai
konsekuensi nilai statistik
t
yang tidak nyata.
Universitas Sumatera Utara
4. Nilai Koefisien Determinasi
R
2
yang Tinggi Tetapi Beberapa Nilai Statistik-
t
Tidak Nyata Dalam kasus adanya multikolinieritas, maka akan ditemukan beberapa
koefisien regresi yang secara individual tidak nyata berdasarkan uji statistik
t-student
. Namun, koefisien determinasi
R
2
dalam situasi yang demikian mungkin tinggi sekali serta berdasarkan uji koefisien regresi keseluruhan
berdasarkan uji
F
akan ditolak hipotesis nol, bahwa
2.8 Analisis Komponen Utama
Analisis komponen utama merupakan teknik statistik yang dapat digunakan untuk mereduksi sejumlah variabel asal menjadi beberapa variabel baru yang bersifat
orthogonal dan tetap mempertahankan total keragaman dari variabel asalnya.
Analisis komponen utama bertujuan untuk mengubah dari sebagian besar variabel asli yang digunakan yang saling berkorelasi satu dengan yang lainnya,
menjadi satu set variabel baru yang lebih kecil dan saling bebas
tidak berkorelasi lagi
, dan merupakan kombinasi linier dari variabel asal. Selanjutnya variabel baru ini dinamakan komponen utama
principal component
. secara umum tujuan dari analisis komponen utama adalah mereduksi dimensi data sehingga lebih mudah untuk
menginterpretasikan data-data tersebut.
Analisis komponen utama bertujuan untuk menyederhanakan variabel yang diamati dengan cara menyusutkan dimensinya. Hal ini dilakukan dengan
menghilangkan korelasi variabel melalui transformasi variabel asal ke variabel baru yang tidak berkorelasi.
Variabel baru disebut sebagai komponen utama yang merupakan hasil
transformasi dari variable asal yang modelnya dalam bentuk catatan matriks adalah:
2.28
Universitas Sumatera Utara
dengan : A adalah matriks yang melakukan transformasi terhadap variabel asal
sehingga diperoleh vektor komponen .
Penjabarannya adalah sebagai berikut :
[ ]
[ ]
[ ]
2.8.1 Menentukan Komponen Utama
Komponen utama dapat ditentukan melalui matriks ragam peragam ∑ dan matriks
korelasi dari
. Matriks kovarian ∑ digunakan untuk membentuk
komponen utama apabila semua variabel yang diamati mempunyai satuan pengukuran yang sama. Sedangkan, matriks Korelasi
digunakan apabila variabel yang diamati tidak mempunyai satuan pengukuran yang sama. Variabel tersebut perlu dibakukan,
sehingga komponen utama berdasarkan matriks korelasi ditentukan dari variabel baku.
2.8.1.1 Komponen Utama Berdasarkan Matriks Kovarian ∑
Dipunyai matriks kovarian ∑ dari
p
buah variable Total varian dari
variabel –variabel tersebut didefinisikan sebagai ∑ ∑ yaitu penjumlahan
dari unsur diagonal matriks ∑. Melalui matriks kovarian ∑ bisa diturunkan akar ciri-
akar cirinya yaitu dan vektor ciri–vektor cirinya
Komponen utama pertama dari vektor berukuran
p
x1, adalah kombinasi linier linier terbobot variabel asal yang dapat
menerangkan keragaman terbesar.
Universitas Sumatera Utara
Komponen utama pertama dapat dituliskan sebagai :
2.29 dengan :
dan
Varian dari komponen utama pertama adalah : ∑
∑ ∑
2.30
Vektor pembobot adalah vektor normal, Koefisien
adalah unsur-unsur dari vektor ciri yang berhubungan dengan akar ciri terbesar
yang diturunkan dari matriks kovarian
∑ dipilih sedemikian sehingga mencapai maksimum dengan
kendala . Menggunakan teknik pemaksimuman berkendala lagrange
diperoleh persamaan : ∑
Fungsi ini mencapai maksimum jika turunan parsial pertama terhadap
sama dengan nol. ∑
atau ∑ 2.31
Persamaan 2.31 dipenuhi oleh dan
yang merupakan pasangan akar ciri dan vektor ciri matriks
∑ Akibatnya ∑
Oleh karena itu varian
∑ harus maksimum, maka
adalah akar ciri yang terbesar dari matriks
∑ dan adalah vektor ciri yang bersesuaian dengan
Komponen utama kedua adalah kombinasi linier terbobot variabel asal yang tidak berkorelasi dengan komponen utama pertama, serta memaksimumkan sisa
kovarian data setelah diterangkan oleh komponen utama pertama. Komponen utama kedua dapat dituliskan sebagai :
2.32
Universitas Sumatera Utara
dengan : dan
Vektor pembobot adalah vektor normal yang dipilih sehingga keragaman
komponen utama kedua maksimum, serta orthogonal terhadap vektor pembobot dari komponen utama pertama. Agar varian dari komponen utama kedua maksimum,
serta antara komponen utama kedua tidak berkorelasi dengan komponen utama pertama, maka vektor pembobot
dipilih sedemikian sehingga tidak
berkorelasi dengan varian komponen utama kedua
adalah : ∑
∑ ∑
2.33
Varian tersebut akan dimaksimumkan dengan kendala dan cov
∑ Karena
adalah vektor ciri dari ∑ dan ∑
adalah matriks simetrik, maka : ∑
∑ ∑
Kendala ∑
dapat dituliskan sebagai Jadi fungsi
Lagrange yang dimaksimumkan adalah : ∑
2.34
Fungsi ini mencapai maksimum jika turunan parsial pertama terhadap
sama dengan nol, diperoleh ∑
∑ 2.35
Jika persamaan 2.35 dikalikan dengan maka diperoleh
∑ ∑
∑ ∑
∑
Oleh karena ∑
maka Dengan demikian persamaan 2.35 setelah diturunkan terhadap
menjadi
Universitas Sumatera Utara
∑ ∑
2.36
Jadi dan
merupakan pasangan akar ciri dan vektor ciri dari matriks varian kovarian
∑ Seperti halnya penurunan pada pencarian , akan diperoleh bahwa
adalah vektor ciri yang bersesuaian dengan akar ciri terbesar kedua dari matriks ∑
Secara umum komponen utama ke-
j
dapat dituliskan sebagai :
2.37 dengan :
dan
vektor pembobot diperoleh dengan memaksimumkan keragaman komponen utama
ke-
j
, yaitu : ∑
2.38 dengan kendala :
serta untuk .
Dengan kendala ini, maka akar ciri dapat diinterpretasikan sebagai ragam
komponen utama ke-
j
serta sesama komponen utama tidak berkorelasi.
Vektor pembobot yang merupakan koefisien pembobot variabel asal bagi
komponen utama ke-
j
diperoleh dari matriks peragam ∑ yang diduga dengan matriks
S berikut : ∑
̅ ̅
2.39
Universitas Sumatera Utara
2.8.1.2 Komponen Utama Berdasarkan Matriks Korelasi
Jika variabel yang diamati tidak mempunyai satuan pengukuran yang sama, maka variabel tersebut perlu dibakukan sehingga komponen utama ditentukan dari variabel
baku Vincent gasperz, 1991. Variabel asal perlu ditransformasi ke dalam variabel baku
Z
, dalam catatan matriks adalah : 2.40
dengan :
Z
= variabel baku = matriks simpangan baku dengan unsur diagonal utama
= variabel pengamatan = nilai rata-rata pengamatan
Dengan, Nilai harapan , dan ragamnya
∑
Dengan demikian, komponen –komponen utama dari
Z
dapat ditentukan dari vektor ciri yang diperoleh melalui matriks korelasi yang diduga dengan matriks
, dimana vektor pembobot
diperoleh dengan memaksimumkan keragaman komponen utama ke-
j
dengan kendala : serta
untuk .
Semua formula yang telah diturunkan berdasarkan variabel-variabel dengan matriks
∑ akan berlaku untuk peubah-peubah dengan matriks
Sehingga diperoleh komponen utama ke-
j
dengan menggunakan variable baku yaitu :
2.41 dengan :
= komponen utama ke-
j
= vektor ciri ke-
j
Z = variabel baku
Universitas Sumatera Utara
Ragam komponen utama ke-
j
adalah sama dengan akar ciri ke-
j
, serta antara komponen utama ke-
i
dan komponen utama ke-
j
tidak berkorelasi untuk .
Untuk meregresikan komponen utama dengan variabel bebas, maka perlu dihitung skor komponen dari setiap pengamatan. Untuk komponen utama yang
diturunkan dari matriks korelasi , maka skor komponen utama dari unit pengamatan
ke-
i
ditentukan sebagai berikut : 2.42
dengan : = vektor pembobot komponen utama ke-
r
= vektor skor baku dari variabel yang diamati pada pengamatan ke-
i
2.8.2 Kriteria Pemilihan Komponen Utama
Salah satu tujuan dari analisis komponen utama adalah mereduksi dimensi data asal yang semula, terdapat
p
variable bebas menjadi
k
komponen utama .
Kriteria pemilihan
k
yaitu : 1.
Didasarkan pada akar ciri yang lebih besar dari satu, dengan kata lain hannya komponen utama yang memiliki akar ciri lebih besar dari satu yang
dilibatkan dalam analisis regresi komponen utama.
2. Proporsi kumulatif keragaman data asal yang dijelaskan oleh k komponen
utama minimal 80, dan proporsi total variansi populasi bernilai cukup besar.
Universitas Sumatera Utara
2.8.3 Kontribusi Komponen Utama
Kontribusi komponen utama yang diturunkan dari matriks kovarian dan matriks korelasi adalah sebagai berikut:
Proporsi total variansi populasi yang dijelaskan oleh komponen utama ke-
j
berdasarkan matriks kovarian adalah :
∑
dengan 2.43
Jadi kontribusi dalam persentase masing –masing komponen utama ke-
j
terhadap total varian
x
adalah :
∑
x 100 2.44
Sedangkan, proporsi total variansi populasi yang dijelaskan oleh komponen utama ke-
j
berdasarkan matriks korelasi, yaitu komponen yang dihasilkan berdasarkan variable-variabel yang telah dibakukan
Z
adalah :
2.45
dengan : = Akar ciri terbesar ke-
j
dari matriks korelasi
R
= Trace matriks
R
yang merupakan jumlah diagonal utama matriks
R
, yang tidak lain sama dengan banyaknya variabel yang diamati, atau
sama dengan jumlah semua akar ciri yang diperoleh dari matriks
R
.
Jadi kontribusi dalam persentase masing –masing komponen utama ke-
j
terhadap total varian
x
adalah :
∑
x 100 2.46
Universitas Sumatera Utara
Bab 3
PEMBAHASAN
3.1 Regresi Komponen Utama
Regresi komponen utama adalah teknik yang digunakan untuk meregresikan komponen utama dengan variabel tak bebas melalui metode kuadrat terkecil. Tahap
pertama pada prosedur regresi komponen utama yaitu menentukan komponen utama yang merupakan kombinasi linier dari beberapa variabel
X
, dan tahap kedua adalah variabel tak bebas diregresikan pada komponen utama dalam sebuah model regresi
linier.
Persamaan regresi komponen utama berdasarkan matriks kovarian pada dasarnya hampir sama dengan persamaan regresi komponen utama berdasarkan
matriks korelasi yaitu variabel diganti dengan variabel baku
. Kedua persamaan tersebut digunakan sesuai dengan pengukuran variabel-variabel yang diamati.
Apabila diberikan notasi sebagai banyaknya komponen utama
yang dilibatkan dalam analisis regresi komponen utama, di mana
k
lebih kecil daripada banyaknya variabel penjelas asli
X
, yaitu sejumlah
p
Maka Bentuk umum persamaan regresi komponen utama adalah :
3.1 dengan :
= variabel tak bebas = variabel komponen utama
= parameter model regresi komponen utama
Universitas Sumatera Utara
Komponen utama merupakan kombinasi linier dari variabel Z ;
3.2
dengan : = komponen utama
= koefisien komponen utama = variabel baku
Komponen utama dalam persamaan 3.2 disubstitusikan ke
dalam persamaan regresi komponen utama 3.1, maka diperoleh : ̂
3.3 dengan :
= ̅
= 3.4
3.2 Uji Koefisien Regresi Komponen Utama
