Analisis Perbandingan Regresi Komponen Utama dan Regresi Ridge untuk Mengatasi Masalah Multikolinieritas pada Model Regresi Linier Berganda

ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA
DAN REGRESI RIDGE UNTUK MENGATASI MASALAH
MULTIKOLINIERITAS PADA MODEL
REGRESI LINIER BERGANDA

SKRIPSI

WANDA SURIANTO
120803034

DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SUMATERA UTARA
MEDAN
2016

Universitas Sumatera Utara

ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA
DAN REGRESI RIDGE UNTUK MENGATASI MASALAH
MULTIKOLINIERITAS PADA MODEL

REGRESI LINIER BERGANDA

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar
Sarjana Sains

WANDA SURIANTO
120803034

DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SUMATERA UTARA
MEDAN
2016

Universitas Sumatera Utara

PERSETUJUAN


Judul

Kategori
Nama
Nomor Induk Mahasiswa
Program Studi
Departemen
Fakultas

: ANALISIS PERBANDINGAN REGRESI
KOMPONEN UTAMA DAN REGRESI RIDGE
UNTUK MENGATASI MASALAH
MULTIKOLINIERITAS PADA MODEL
REGRESI LINIER BERGANDA
: SKRIPSI
: WANDA SURIANTO
: 120803034
: SARJANA (S1) MATEMATIKA
: MATEMATIKA
: MATEMATIKA DAN ILMU PENGETAHUAN

ALAM (FMIPA) UNIVERSITAS SUMATERA
UTARA

Disetujui di
Medan, Agustus 2016

Komisi Pembimbing :
Pembimbing 2,

Pembimbing 1,

Drs. Ujian Sinulingga, M.Si
NIP. 19560303 198403 1 004

Dr. Pasukat Sembiring, M.Si
NIP. 19531113 198503 1 002

Disetujui Oleh
Departemen Matematika FMIPA USU
Ketua,


Prof. Dr. Tulus, M.Si. Ph.D
NIP. 19620901 198803 1 002

i
Universitas Sumatera Utara

PERNYATAAN

ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA
DAN REGRESI RIDGE UNTUK MENGATASI MASALAH
MULTIKOLINIERITAS PADA MODEL
REGRESI LINIER BERGANDA

SKRIPSI

Menyatakan dengan sebenarnya bahwa skripsi yang saya serahkan ini benar-benar
merupakan hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang
masing-masing disebutkan sumbernya.


Medan ,

Agustus 2016

WANDA SURIANTO
120803034

ii
Universitas Sumatera Utara

PENGHARGAAN

Puji dan syukur penulis panjatkan kehadirat Allah swt yang telah melimpahkan
rahmat dan hidayah-Nya kepada penulis, sehingga penulis dapat menyelesaikan
skripsi ini tepat pada waktunya. Skripsi dengan judul “Analisis Perbandingan
Regresi Komponen Utama dan Regresi Ridge

untuk Mengatasi Masalah

Multikolinieritas pada Model Regresi Linier Berganda”. Salawat dan salam

semoga selalu tercurahkan kepada Nabi Muhammad saw, yang telah memberikan
contoh teladan sebagai pedoman hidup bagi seluruh umat manusia.
Dalam menyelesaikan skripsi ini, banyak pihak yang telah membantu
penulis baik moral maupun spiritual sehingga skripsi ini dapat selesai tepat pada
waktunya. Untuk itu, penulis menyampaikan ucapan terima kasih yang sebesarbesarnya dan penghargaan yang setinggi-tingginya kepada:
1. Bapak Dr. Pasukat Sembiring, MSi dan Bapak Drs. Ujian Sinulingga,
M.Si selaku dosen pembimbing yang senantiasa membantu dan
mengarahkan saya dalam menyelesaikan skripsi ini.
2. Bapak Drs. Pengarapen Bangun, M.Si dan Bapak Drs. Gim Tarigan, M.Si
selaku dosen pembanding yang memberikan kritik dan saran yang
membangun dalam menyelesaikan skripsi penulis.
3. Bapak Dr. Kerista Sebayang, M.S selaku Dekan FMIPA Universitas
Sumatera Utara.
4. Seluruh Bapak dan Ibu dosen yang telah mendidik penulis selama
menjalani pendidikan dan Staf pegawai di Fakultas Matematika Dan Ilmu
Pengetahuan Alam USU Medan.
5. Yang paling teristimewa kepada kedua orangtua tercinta, ayahanda
Suriadi, Ibunda Ngatini, dan saudara-saudari penulis. Karena berkat doa,
kasih sayang dan kepercayaan yang tak ternilai serta dukungan moral dan
material kepada penulis yang tak pernah putus sehingga ananda dapat

menyelesaikan studi sampai ke jenjang sarjana. Semoga Allah S.A.W
memberikan balasan yang tak terhingga dengan syurga-Nya yang mulia.
Amin.

iii
Universitas Sumatera Utara

Terima kasih penulis ucapkan kepada seluruh pihak yang telah membantu
dalam proses pembuatan skripsi.

Medan,

Agustus 2016

WANDA SURIANTO
120803034

iv
Universitas Sumatera Utara


ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA
DAN REGRESI RIDGE UNTUK MENGATASI MASALAH
MULTIKOLINIERITAS PADA MODEL
REGRESI LINIER BERGANDA

ABSTRAK

Multikolinieritas adalah kondisi dimana dalam sebuah regresi terdapat korelasi
yang sangat tinggi antara variabel bebasnya. Regresi Komponen Utama dan
Regresi Ridge adalah metode untuk mengatasi masalah multikolinieritas yang
terjadi pada analisis regresi linier berganda. Metode Regresi Komponen Utama
pada dasarnya bertujuan untuk menyederhanakan variabel yang diamati dengan
cara menyusutkan (mereduksi) dimensinya. Metode Regresi Ridge adalah metode
yang memberikan tetapan bias yang relatif kecil dengan cara mengalikan tetapan
bias pada diagonal matriks identitas. Berdasarkan contoh data hasil penelitian
bahwasanya Regresi Ridge lebih efektik digunakan jika data berdistribusi normal
dan sebaliknya untuk Regresi Komponen Utama lebih efektif jika digunakan pada
data yang tidak berdistribusi normal.

Kata Kunci: Multikolinieritas, Regresi Komponen Utama, Regresi Ridge,

Regresi Linier Berganda

v
Universitas Sumatera Utara

COMPARISON ANALYSIS OF PRINCIPAL COMPONENT
REGRESSION AND RIDGE REGRESSION TO SOLVE
MULTYCOLINEARITY PROBLEM AT MULTIPLE
LINEAR REGRESSION MODEL

ABSTRACT

Multicolinearity is a condition where there is a regression in a very high
correlation between the independent variables. Principal Component Regression
and Ridge Regression are a methodto overcome multicolinearity problems that
occur on the analysis of multiple linear regression. Principal Component
Regression Method is basically aimed at simplifying the observed variables in a
way to shrink (reduce) its dimensions. Ridge Regression Method is a method
which provides a relatively small constant bias by multiplying the bias constant
on the diagonal identity matrix. Based on research data sample is Ridge

Regression is more effectively used if the data were normally distributed and vice
versa for the Principal Component Regression is more effective when used on
data that are not normally distributed.

Keywords: Multicolinearity, Principal Component Regression, Ridge Regression,
Multiple Linear Regression

vi
Universitas Sumatera Utara

DAFTAR ISI

Halaman
i
ii
iii
v
vi
vii
viii

ix
x

PERSETUJUAN
PERNYATAAN
PENGHARGAAN
ABSTRAK
ABSTRACT
DAFTAR ISI
DAFTAR TABEL
DAFTAR GAMBAR
DAFTAR LAMPIRAN
Bab 1.

Bab 2.

Bab 3.

Bab 4.

PENDAHULUAN
1.1.
Latar Belakang
1.2.
Perumusan Masalah
1.3.
Batasan Masalah
1.4.
Tujuan Penelitian
1.5.
Manfaat Penelitian
1.6.
Metodologi Penelitian

1
2
3
3
3
4

TINJAUAN PUSTAKA
2.1. Matriks
2.2. Nilai Eigen dan Vektor Eigen
2.3. Matriks Korelasi
2.4. Multikolinieritas
2.5. Regresi Linier Berganda
2.6. Metode Ordinary Least Square (OLS)
2.7. Analisis Komponen Utama
2.8. Regresi Ridge
2.9. Ridge Trace
HASIL DAN PEMBAHASAN
3.1. Analisis Regresi Komponen Utama
3.2. Regresi Ridge
3.3. Ridge Trace
3.4. Contoh Ilustrasi Kasus 1
3.5. Contoh Ilustrasi Kasus 2
3.6. Perbandingan Hasil Regresi Komponen Utama
Dan Regresi Ridge
KESIMPULAN DAN SARAN
1.1. Kesimpulan
1.2. Saran

DAFTAR PUSTAKA

5
10
12
14
17
19
22
24
25

26
27
29
29
41
51

54
55
56

vii
Universitas Sumatera Utara

DAFTAR TABEL

Nomor
Tabel
Tabel 3.1
Tabel 3.2
Tabel 3.3
Tabel 3.4
Tabel 3.5
Tabel 3.6
Tabel 3.7
Tabel 3.8
Tabel 3.9
Tabel 3.10

Tabel 3.11
Tabel 3.12
Tabel 3.13
Tabel 3.14
Tabel 3.15
Tabel 3.16
Tabel 3.17
Tabel 3.18

Judul

Halaman

Data rata-rata jam kerja dan faktor-faktor yang
mempengaruhinya
Nilai Korelasi Data Rata-rata Jam Kerja Antar Variabel
Bebas
Faktor Variansi Inflasi (VIF)
(Contoh Ilustrasi Kasus 1)
Nilai Eigen, Proporsi Total Variansi dan Proporsi Variansi
Kumulatif (Contoh Ilustrasi Kasus 1)
Koefisien Komponen Utama (Eigen Vektor)
(Contoh Ilustrasi Kasus 1)
Skor Faktor Komponen Utama (Contoh Ilustrasi Kasus 1)
Signifikansi Koefisien Regresi Komponen Utama
(Contoh Ilustrasi Kasus 1)
Nilai VIF ̂
Dengan Berbagai Nilai
(Contoh Ilustrasi Kasus 1)
Nilai ̂
Dengan Berbagai Nilai
(Contoh Ilustrasi Kasus 1)
Data Mengenai Konsumsi ( ), Pendapatan Upah ( ),
Pendapatan Non Upah ( ) dan Non Pertanian ( ) di
Amerika Serikat dalam Milyar dollar
Nilai Korelasi Data Mengenai Konsumsi Antar Variabel
Bebas
Nilai Faktor Variansi Inflasi (VIF)
(Contoh Ilustrasi Kasus 2)
Nilai Eigen, Proporsi Total Variansi dan Proporsi Variansi
Kumulatif (Contoh Ilustrasi Kasus 2)
Koefisien Komponen Utama (Eigen Vektor)
(Contoh Ilustrasi Kasus 2)
Skor Faktor Komponen Utama (Contoh Ilustrasi Kasus 2)
Koefisien Regresi dengan Satu Komponen Utama
(Contoh Ilustrasi Kasus 2)
Nilai VIF ̂
Dengan Berbagai Nilai
(Contoh Ilustrasi Kasus 2)
Nilai ̂
Dengan Berbagai Nilai
(Contoh Ilustrasi Kasus 2)

32
36
36
37
38
38
39
40
41
45

46
47
47
48

48
49
50

viii
Universitas Sumatera Utara

DAFTAR GAMBAR

Nomor
Gambar
Gambar
Gambar
Gambar
Gambar
Gambar

Judul

3.1
3.2
3.3
3.4
3.5

Gambar 3.6

Ridge Trace (Contoh Ilustrasi Kasus 1)
VIF Plot (Contoh Ilustrasi Kasus 1)
Ridge Trace (Contoh Ilustrasi Kasus 2)
VIF Plot (Contoh Ilustrasi Kasus 2)
Normal Plot dari Residual Persamaan
(Contoh Ilustrasi Kasus 1)
Normal Plot dari Residual Persamaan
(Contoh Ilustrasi Kasus 2)

Halaman

42
42
51
52
54
55

ix
Universitas Sumatera Utara

DAFTAR LAMPIRAN

Nomor
Lampiran
Lampiran 1
Lampiran 2
Lampiran 3
Lampiran 4
Lampiran 5
Lampiran 6
Lampiran 7
Lampiran 8

Judul

Halaman

Contoh Data Ilustrasi Kasus 1
Contoh Data Ilustrasi Kasus 2
Menentukan Parameter Regresi Linier Berganda
(Contoh Ilustrasi Kasus 1)
Menentukan Parameter Regresi Linier Berganda
(Contoh Ilustrasi Kasus 2)
Transformasi Data Kasus 1
Transformasi Data Kasus 2
Nilai Residual dan MSE
(Contoh Ilustrasi Kasus 1)
Nilai Residual dan MSE
(Contoh Ilustrasi Kasus 1)

56
57
58
62
64
65
66
67

x
Universitas Sumatera Utara