BAYESIAN INFORMATION CRITERION (BIC)
perpustakaan.uns.ac.id
digilib.uns.ac.id
PEMILIHAN MODEL REGRESI TERBAIK DENGAN
BAYESIAN INFORMATION CRITERION (BIC)
oleh
NURUL KUSTINAH
M0106057
SKRIPSI
ditulis dan diajukan untuk memenuhi sebagian persyaratan
memperoleh gelar Sarjana Sains Matematika
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SEBELAS MARET SURAKARTA
2012
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
SKRIPSI
PEMILIHAN MODEL REGRESI TERBAIK DENGAN
BAYESIAN INFORMATION CRITERION (BIC)
yang disiapkan dan disusun oleh
NURUL KUSTINAH
M0106057
dibimbing oleh
Pembimbing I
Pembimbing II
Dra. Yuliana Susanti, M.Si
Bowo Winarno, S.Si, M.Kom
NIP. 19611219 198703 2 001
NIP. 19810430 200812 1 001
telah dipertahankan di depan Dewan Penguji
pada hari Senin, 2 Januari 2012
dan dinyatakan telah memenuhi syarat.
Anggota Tim Penguji
Tanda Tangan
1.
1. Dra. Respatiwulan, M.Si
NIP. 19680611 199302 2 001
2.
2. Drs. Siswanto, M.Si
NIP. 19670813 199203 1 002
Surakarta, 2 Januari 2012
Disahkan oleh
Fakultas Matematika dan Ilmu Pengetahuan Alam
Dekan
Ketua Jurusan Matematika
Ir. Ari Handono Ramelan, MSc., PhD
Irwan Susanto, DEA
NIP. 19610223 198601 1 001
NIP. 19710511 199512 1 001
commit to user
ii
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRAK
Nurul Kustinah, 2011. PEMILIHAN MODEL REGRESI TERBAIK
DENGAN BAYESIAN INFORMATION CRITERION (BIC). Fakultas
Matematika dan Ilmu Pengetahuan Alam. Universitas Sebelas Maret.
Pemilihan model regresi linear terbaik adalah memilih model regresi linear
yang memiliki kecocokan dengan data. Terdapat beberapa kriteria sebagai tolak
ukur untuk menilai suatu kecocokan model dengan data, salah satu satunya
adalah BIC.
BIC merupakan metode pemilihan model terbaik dari beberapa kandidat
model. Kriteria pemilihan model dengan menggunakan BIC didasarkan pada
teorema Bayesian dan metode MLE. Tujuan dari penelitian ini adalah mengkaji
ulang metode BIC dan menerapkannya dalam pemilihan model regresi terbaik.
Berdasarkan hasil penelitian menunjukkan bahwa BIC memiliki bentuk umum
yaitu
| = −2ln
+ ln .
Dalam memilih model regresi terbaik dengan BIC dilakukan dengan memilih
model dengan nilai BIC terkecil yang didapat dari
"
= ln2 + ln ! + # ln + 1.
$
Kata kunci: regresi linear, teorema Bayesian, MLE, BIC.
commit to user
iii
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRACT
Nurul Kustinah, 2011. THE BEST SELECTION REGRESSION MODEL
WITH BAYESIAN INFORMATION CRITERION (BIC). Faculty of
Mathematics and Natural Sciences. Sebelas Maret University.
The best regression model selection is method for selection the most
appropriate fit between the regression model and the data. There are several
criterias as a benchmark to evaluate the suitability of the model with data, one of
them is BIC.
BIC is a method in model selection to choose the best of several candidate
models. Criteria for model selection using BIC is based on Bayesian theorem and
MLE. The aims of this research are to review the BIC and apply it in the best
regression model selection. Based on the results, BIC has the general form
| = −2ln
+ ln .
In selecting the best regression model with BIC performed by selecting the model
with the smallest BIC value obtained from
"
= ln2 + ln ! + # ln + 1.
$
Keywords: linear regression, Bayesian theorem, MLE, BIC.
commit to user
iv
perpustakaan.uns.ac.id
digilib.uns.ac.id
MOTO
“Sesungguhnya sesudah kesulitan itu ada kemudahan.”
(QS. Alam Nasyrah: 6)
“Dan Dia mendapatimu sebagai seorang yang bingung,
lalu Dia beri petunjuk.”
(QS: Ad-Duhaa ayat 7)
“Jangan pernah menghindar dan selalu berkata tidak, majulah ke depan, hadapi
hidupmu dan berkatalah, ya, aku bisa!”
commit to user
v
perpustakaan.uns.ac.id
digilib.uns.ac.id
PERSEMBAHAN
Alhamdulillahirobbil ‘aalamiin...
Karya ini kupersembahkan untuk
Ibu dan Bapak tercinta
Yang tiada henti mendoakan aku
Kakakku Mas Rochim dan mbak Ita
Adikku Tirta dan Riyanti
Kak Gilang dan keluarga atas semua fasilitasnya
Valui Aditya dengan bantuan laptopnya
Damar, Bili, Uswa, Desi, Umi, Siti & Ahmad yang memberi semangat
commit to user
vi
perpustakaan.uns.ac.id
digilib.uns.ac.id
KATA PENGANTAR
Puji syukur penulis panjatkan kehadirat Tuhan Yang Maha Esa atas segala
rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan skripsi ini. Selain
itu, penulis mengucapkan terima kasih kepada seluruh pihak yang telah membantu
dalam penyusunan skripsi ini.
1. Dra. Yuliana Susanti, M.Si dan Bowo Winarno, S.Si, M.Kom selaku Dosen
Pembimbing I dan Dosen Pembimbing II yang telah memberikan bimbingan
kepada penulis.
2. Endah Krisna Murti yang telah memberi bantuan diskusi materi kepada
penulis.
3. Semua pihak yang telah membantu sehingga skripsi ini dapat selesai.
Semoga skripsi ini bermanfaat untuk semua pihak.
Surakarta, 2 Januari 2012
Penulis
commit to user
vii
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR ISI
Halaman
JUDUL .....................................................................................................
i
PENGESAHAN
.......................................................................................
ii
.............................................................................................
iii
ABSTRACT .............................................................................................
iv
MOTO
v
ABSTRAK
.....................................................................................................
PERSEMBAHAN
.................................................................................
vi
...........................................................................
vii
..........................................................................................
viii
KATA PENGANTAR
DAFTAR ISI
DAFTAR GAMBAR
DAFTAR TABEL
..............................................................................
ix
.................................................................................
xi
BAB I PENDAHULUAN
.....................................................................
1
1.1 Latar Belakang Masalah ................................................................
1
1.2 Rumusan Masalah
.....................................................................
2
1.3 Tujuan Penelitian
.....................................................................
2
1.4 Manfaat Penelitian
.....................................................................
2
BAB II LANDASAN TEORI ..................................................................
3
2.1 Tinjauan Pustaka
.....................................................................
2.1.1 Probabilitas Bersyarat
....................................................
2.1.2 Estimasi Maksimum Likelihood
......................................
2.1.3 Distribusi Prior dan Distribusi Posterior
3
3
4
........................
5
................................................................
6
2.1.5 Faktor Bayes .....................................................................
7
2.1.6 Uji Asumsi Klasik ..............................................................
8
2.1.7 Analisis Model Regresi
....................................................
11
.....................................................................
12
2.1.4 Teorema Bayes
2.2 Kerangka Pemikiran
BAB III METODE PENELITIAN
BAB IV PEMBAHASAN
.......................................................... 13
...................................................................... 14
4.1 Bayesian information criterion(BIC) ...............................................
commit to user
viii
14
perpustakaan.uns.ac.id
digilib.uns.ac.id
4.2 BIC dalam Regresi
...................................................................... 17
4.3 Contoh Aplikasi pemilihan Model Regresi Terbaik dengan BIC........ 19
BAB V PENUTUP
.................................................................................. 26
5.1 Kesimpulan
................................................................................... 26
5.2 Saran ............................................................................................... 26
DAFTAR PUSTAKA
............................................................................... 27
LAMPIRAN
commit to user
ix
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR GAMBAR
Gambar 2.1 Pola plot residu terhadap & ..................................................
Halaman
9
Gambar 4.1 Plot probabilitas dari residu ...........................................…..
20
Gambar 4.2 Plot residu dengan &
21
.............................................………..
commit to user
x
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR TABEL
Halaman
21
Tabel 4.1
Hasil Uji Multikolinearitas …………............…………….…
Tabel 4.2
Hasil Uji F ..............................................................................
23
Tabel 4.3
Hasil Uji t ................................................................................
24
Tabel 4.4
Nilai BIC dari model ...............................................................
24
commit to user
xi
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB I
PENDAHULUAN
1.1 Latar Belakang Masalah
Analisis regresi adalah teknik statistik yang digunakan untuk menyelidiki
dan memodelkan hubungan antara variabel-variabel yang terdiri dari variabel
independen dan variabel dependen. Model regresi adalah suatu cara untuk
mengetahui kecenderungan perubahan variabel dependen Y yang berubah sesuai
perubahan variabel independen X. Model regresi dapat digunakan untuk beberapa
tujuan antara lain untuk deskripsi data, estimasi dan prediksi. Penerapan dari
regresi sangat banyak dan dapat ditemukan hampir disetiap bidang ilmu
pengetahuan. Penerapan regresi diantaranya dapat ditemukan dalam analisis
runtun waktu, ilmu ekonomi, biologi, dan ilmu sosial (Sembiring,1995).
Pada analisis regresi hubungan antara variabel dependen (Y) dan beberapa
variabel independen (X) dapat dinyatakan dengan suatu model regresi linear yaitu
=
+
+ ⋯+
adalah parameter dan
untuk = 1,2, … ,
+ , dengan
adalah banyaknya variabel independen,
adalah sesatan random dengan asumsi
~
(0;
),
(Neter dan Wasserman, 1996).
Ada beberapa metode pemilihan model regresi terbaik, diantaranya adalah
metode Akaike’s Information Criterion (AIC) dan Bayesian Information Criterion
(BIC). BIC merupakan salah satu kriteria pemilihan model terbaik dimana konsep
dari metode ini dikemukakan oleh Schwarz (1978). Perumusan BIC menggunakan
teorema Bayesian untuk menentukan probabilitas posterior. Estimasi parameter
dalam model regresi menggunakan MLE. Kemudian BIC digunakan untuk
pemilihan model regresi. Hasil pemilihan model dengan BIC cukup akurat karena
jumlah parameter dalam model diperhatikan. Dalam penelitian ini, penulis
mengkaji ulang metode BIC dan menerapkannya dalam regresi linear.
commit to user
1
perpustakaan.uns.ac.id
digilib.uns.ac.id
2
1.2 Perumusan Masalah
Berdasarkan uraian dalam latar belakang masalah, dapat dirumuskan
permasalahan yaitu bagaimana menurunkan ulang metode BIC dan penerapan BIC
dalam pemilihan model regresi terbaik.
1.3 Tujuan Penelitian
Tujuan yang ingin dicapai adalah menjelaskan metode BIC dan
menerapkan BIC dalam regresi linear.
1.4 Manfaat Penelitian
Memberikan pemahaman yang lebih tentang BIC untuk pemilihan model
regresi terbaik dan sebagai bahan referensi penelitian yang akan datang.
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB II
LANDASAN TEORI
2.1 Tinjauan Pustaka
Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang terdiri
dari definisi maupun teorema sebagai dasar pengertian untuk mempermudah
pembahasan selanjutnya. Pada bagian kedua dari bab ini disusun kerangka
pemikiran yang menjelaskan alur dalam penulisan skripsi ini. Berikut ini akan
diberikan beberapa definisi dan pengertian yang mendukung pemilihan model
regresi terbaik berdasarkan metode BIC.
2.1.1 Probabilitas bersyarat
Pengertian tentang probabilitas bersyarat peristiwa A jika diketahui B telah
terjadi ditulis sebagai
|
pada dua kejadian independen dan fungsi likelihood
diberikan pada definisi dan teorema berikut menurut Bain dan Engelhardt(1992).
Definisi 2.1. Diberikan suatu percobaan dengan S sebagai ruang sampel dan
A1, A2, A3,… ,An merupakan kejadian asing yang mungkin terjadi. Sebuah fungsi
yang mengawankan nilai real dari P(A) dengan setiap kejadian A disebut
probabilitas dari A, dinotasikan P(A), jika memenuhi :
≥ 0 untuk setiap
1.
2. P (S) = 1
3.
⋃
= ∑
himpunan bagian
.
Probabilitas terjadinya suatu peristiwa A, bila diketahui peristiwa B telah terjadi
|
disebut probabilitas bersyarat dan dinotasikan
.
Definisi 2.2 S suatu ruang sampel dan A, B adalah peristiwa-peristiwa di dalam
S. Probabilitas bersyarat P(A|B) didefinisikan sebagai
|
=
∩
commit to user
3
.
perpustakaan.uns.ac.id
digilib.uns.ac.id
4
Definisi 2.3. S adalah suatu ruang sampel dari suatu percobaan. A1 , A2, ... , Ak
∩
adalah peristiwa-peristiwa di dalam S, sedemikian hingga
setiap ≠
= .
dan ⋃
= ∅ untuk
Dikatakan bahwa A1 , A2, ... , Ak membentuk partisi dalam S.
Teorema 2.1. (Teorema Probabilitas Total). Jika A=[ A1 , A2, ... , Ak] adalah
partisi S dan B sebarang peristiwa anggota S, maka
P(B)=P(B|A1)P(A1)+P(B|A2)P(A2)+ ... +P(B|Ak)P(Ak).
2.1.2 Estimasi Maksimum Likelihood
Pengertian tentang estimasi maksimum likelihood yang diberikan pada
definisi berikut menurut Bain dan Engelhardt(1992).
Definisi 2.4. Fungsi kepadatan bersama dari n variabel random
pada
,
,…,
dilambangkan dengan !
,
,…,
,
,…,
; # dengan # $ % dimana
% adalah ruang parameter yang tidak diketahui dinyatakan dengan fungsi
likelihood. Untuk
,
,…,
yang tetap fungsi likelihood adalah fungsi dari #
dan dinotasikan & # . Jika
,
,…,
mewakili sampel random dari !
,#
maka,
& # =∏
!
;# = !
Definisi 2.5. Misalkan & # = !
,
;# !
,…,
;# …!
; # dengan # $ %, adalah fungsi
,
kepadatan bersama dari variabel random
pengamatan
,
,…,
;# .
…,
. Untuk himpunan
, suatu nilai #( dalam % yang memaksimumkan & #
disebut sebagai estimator maksimum likelihood dari #. Secara sistematis ditulis,
!) ,
,…,
; #( * =
./0
+,-!
,
,…,
;# .
Memaksimumkan log & # lebih mudah dibandingkan memaksimumkan
& # sehingga dapat ditulis sebagai,
log !) ,
,…,
; #( * =
./0
+,-!
commit to user
,
,…,
;# .
perpustakaan.uns.ac.id
digilib.uns.ac.id
5
Apabila Ω adalah interval terbuka dari L(#
yang differensiabel dan
diasumsikan maksimum pada Ω, maka estimator maksimum likelihood dari #
diperoleh dengan menyelesaikan persamaan
23456 +
2+
= 0.
Jika terdapat lebih dari satu penyelesaian untuk # maka dicari
penyelesaian yang memaksimumkan L(# dengan membandingkan penyelesaian
untuk # yang telah diperoleh. Kemudian dicari turunan kedua dari L(# . Bila
nilainya negatif maka penyelesaian untuk # tersebut merupakan estimator
maksimum.
Kegunaan MLE dalam mendapatkan estimator parameter dari suatu
distribusi dapat digunakan untuk menyusun suatu matriks yang disebut matriks
informasi Fisher. Invers dari matriks ini disebut matriks invarian-kovarian. Untuk
menentukan variansi dan kovariansi yang asimtotik dari estimator maka
dikonstruksikan sebuah matriks informasi I dengan elemen ke- 8 adalah :
< log& #;
I9 = :;
ik/opV
−
|,
= 1,2, … , s.
dengan,
re
: fungsi distribusi frekuensi kumulatif relatif dari distribusi teoritis di
bawah de .
: distribusi frekuensi kumulatif pengamatan sebanyak sampel.
e. Kesimpulan : Jika de ditolak maka data tidak berdistribusi normal.
2.1.6.2 Heteroskedastisitas
Uji heterokedastisitas bertujuan untuk mengetahui apakah variansi `
konstan. Pendeteksian kesamaan variansi dapat dilakukan dengan membuat plot
sisa terhadap t( . Plot yang diperoleh seharusnya tidak menghasilkan pola tertentu
dan terkumpul di sekitar garis lurus yang melalui titik nol.
Montgomery dan Peck (1992) menggambarkan beberapa plot sisa terhadap
t( sebagai berikut
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
9
`
`
t(
(a)
(b)
`
`
t(
(c)
t(
i
t(
(d)
Gambar 2.1 Pola plot residu terhadap t(
Jika hasil plot mirip pola pada Gambar 2.1a maka berarti asumsi
homogenitas variansi dipenuhi karena titik tersebar. Pada Gambar 2.1b
menunjukkan
bahwa
titik
tersebar
dengan
variansi
tidak
konstan
(heteroskedastisitas). Pola pada Gambar 2.1c seharusnya tidak akan muncul
kecuali kalau ada kesalahan dalam perhitungan. Pola Gambar 2.1d menunjukkan
model yang digunakan kurang tepat, atau perlu dilakukan transformasi.
2.1.6.3 Mutikolinearitas
Menurut Montgomery dan Peck (1992), salah satu cara mendeteksi adanya
multikolinearitas dalam model adalah dengan nilai tolerance dan VIF (Variance
Inflation Factors). Matriks u =
′
A
adalah matriks untuk mendeteksi adanya
multikolinearitas dengan u99 merupakan diagonal matriks u yang dapat ditulis
vwr9 = u99 =
1
1 − x9
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
10
dengan x9 adalah nilai koefisien determinasi atau x ketika
dengan variabel bebas selain
yang diregresikan
. vwr9 adalah faktor perubahan variansi dalam
variabel bebas ke-j. Nilai vwr > 10 menunjukkan multikolinearitas yang kuat.
2.1.6.4 Autokorelasi
Autokorelasi adalah suatu keadaan kesalahan gangguan dari periode
tertentu berkorelasi dengan kesalahan gangguan dari periode sebelumnya. Jika
kesalahan gangguan periode y dengan y − 1 berkorelasi maka terjadi korelasi
tingkat pertama. Autokorelasi dapat dideteksi dengan berbagai cara antara lain
dengan uji Durbin Watson. Langkah-langkah pengujian autokorelasi dengan
Durbin Watson adalah sebagai berikut (Gujarati, 1995):
1. Melakukan regresi kuadrat terkecil biasa dan memperoleh residu
2. Menghitung nilai \ (statistik Durbin Watson ), dengan
\=
∑k
$k − $kA
∑k $k
3. Mencari nilai \6 (batas bawah Durbin Watson) dan \z (batas atas Durbin
Watson) untuk ukuran sampel dan banyaknya variabel independen tertentu.
4. Jika de adalah tidak terdapat autokorelasi positif, maka jika
\ < \6 : menolak de
\ > \z : tidak menolak de
\6 ≤ \ ≤ \z : pengujian tidak meyakinkan
5. Jika de adalah tidak terdapat autokorelasi negatif, maka jika
\ > 4 − \6 : menolak de
\ < 4 − \z : tidak menolak de
4 − \z ≤ \ ≤ 4 − \6 : pengujian tidak meyakinkan
6. Jika de adalah tidak terdapat autokorelasi positif atau negatif, maka jika
\ < \6 : menolak de
\ > 4 − \6 : menolak de
\z < \ < 4 − \z : tidak menolak de
\6 ≤ \ ≤ \z : pengujian tidak meyakinkan
4 − \z ≤ \ ≤ 4 − \6 : pengujian tidak meyakinkan
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
11
2.1.7
Analisis Model Regresi
2.1.7.1 Uji Serempak (Uji F)
Menurut Supranto (1995) uji serempak dilakukan untuk mengetahui
apakah variabel independen berpengaruh secara bersama-sama terhadap variabel
dependen. Sebelum pengujian hipotesis akan dicari perumusan rj kl m terlebih
dahulu
rj kl
m
=
†‡x/ ^ − 1
x‡x
=
†‡ / s − ^
x‡
dengan,
x‡x: Rataan Kuadrat Regresi
x‡ : Rataan Kuadrat Sisa
Pengujian hipotesis yang digunakan adalah sebagai berikut :
a. de : ‰ = ‰ = ⋯ = ‰ = 0 (variabel independen secara bersama-sama tidak
mempunyai pengaruh yang signifikan terhadap variabel dependen)
d ∶ ‰9 ≠ 0, untuk 8 = 1, 2, … ,
(variabel independen secara bersama-sama
mempunyai pengaruh yang signifikan terhadap variabel dependen)
b. Tingkat signifikasi h
c. Daerah kritis: de ditolak jikarj kl
m
> r Š,‹A
d. Statistik uji
rj kl
m
=
, A‹
x‡x
x‡
e. Kesimpulan : Jika de ditolak maka variabel independen secara bersama-sama
mempunyai pengaruh yang signifikan terhadap variabel dependen.
2.1.7.2 Uji Parsial (Uji t)
Menurut Supranto (1995) uji parsial dilakukan untuk mengetahui pengaruh
variabel independen secara individual terhadap variabel dependen, dengan
menganggap variabel independen lainnya konstan.
Pengujian hipotesis yang digunakan adalah sebagai berikut :
a. de : ‰9 = 0, untuk 8 = 1, 2, … ,
(tidak ada pengaruh yang signifikan antara
variabel independen ke-j terhadap variabel dependen)
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
12
d ∶ ‰9 ≠ 0, untuk 8 = 1, 2, … ,
(ada pengaruh yang signifikan antara variabel
indenpenden ke-j terhadap variabel dependen)
b. Tingkat signifikasi h
c. Daerah kritis, de ditolak jika yj kl
m
> y Š/
d. Statistik uji
yj kl
dengan,
‰9
m
atau −yj kl
m
< y Š/
, A‹
‰9
: ‰9
=
= koefisien regresi independen
, A‹
9
:)‰9 * = sesatan standar dari koefisien regrsi ‰9 .
e. Kesimpulan : Jika de ditolak maka ada pengaruh yang signifikan antara
variabel independen ke-j terhadap variabel dependen.
2.2 Kerangka Pemikiran
BIC merupakan suatu metode pemilihan model dengan menerapkan
beberapa teorema Bayesian dan MLE dalam penurunan rumusnya. Selanjutnya
hasil penurunan rumus yang diperoleh diterapkan dalam regresi linear. Rumus
yang diperoleh untuk regresi diterapkan untuk menentukan model terbaik pada
suatu data. Data diregresikan dengan regresi linear kemudian sesatan model diuji
dengan
asumsi
multikolinearitas,
klasik
tidak
regresi
terdapat
linear
yaitu
normalitas,
heteroskedastisitas
dan
tidak
terdapat
tidak
terdapat
autokorelasi. Kemudian model dipilih sebagai model terbaik menurut metode BIC.
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB III
METODE PENELITIAN
Pada penelitian ini, metode yang digunakan adalah studi literatur dan
penerapan kasus, dengan pengumpulan bahan melalui buku-buku referensi dan
karya ilmiah yang meliputi hasil-hasil penelitian dan jurnal. Adapun langkah
penelitian sebagai berikut.
1. Menurunkan rumus Bayesian Information Criterion (BIC) sehingga diperoleh
bentuk umum BIC.
2. Menentukan rumus BIC berdasarkan bentuk umum yang diperoleh pada
langkah nomor 1 untuk memilih model regresi terbaik.
3. Menentukan data yang digunakan kemudian uji residu data dengan uji asumsi
klasik regresi linear
4. Pilih model regresi terbaik dengan metode BIC, dimana nilai BIC dihitung
dengan cara
dari masing-masing kombinasi model
a. Hitung nilai
b. Hitung nilai
ln
dari masing-masing kombinasi model
c. Hitung nilai ln2
d. Hitung nilai BIC dari masing-masing kombinasi model yang diperoleh dari
= ln2 + ln
+
ln + 1
e. Pilih model dengan nilai BIC terkecil sebagai model terbaik
commit to user
13
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB IV
PEMBAHASAN
BIC merupakan metode pemilihan model terbaik dari beberapa kandidat
model. Konsep BIC pertama kali diperkenalkan oleh Schwarz (1978), BIC yang
dikembangkan oleh Schwarz ini menggunakan beberapa teorema Bayesian,
sehingga BIC dikenal juga dengan Schwarz’s Bayesian Information Criterion
(SBIC) dan ada juga yang menyebutnya dengan Schwarz Bayesian Criterion
(SBC). Metode pemilihan model dengan menggunakan BIC didasarkan pada
metode MLE dan teorema Bayesian. Dalam memilih model terbaik dengan
metode BIC dipilih model dengan nilai BIC terkecil. Semakin kecil nilai BIC
semakin baik modelnya. Hal ini dikarenakan dengan meningkatnya
akan
meningkatkan nilai BIC. Oleh karena itu, dipilih nilai BIC terkecil (Fathurahman,
2009).
4.1 Bayesian Information Criterion (BIC)
BIC adalah metode pemilihan model dari beberapa kandidat model.
=
Bentuk umum BIC dicari untuk n data sampel
,
,…,
, berdasarkan
data sampel tersebut akan dipilih suatu model terbaik dari l model yang mungkin
yaitu
,
,…,
∈
, dimana
,
,…,
|
digambarkan dengan probabilitas
parameter dari
|
dan
∈ 1,2, … , . Model
dan
Θ
, dimana
merupakan fungsi likelihoodnya dengan
adalah estimasi maksimum likelihood dari parameter
,
prior diskrit pada model
dari model
adalah vektor
,…,
dan
|
. Misalkan
adalah
adalah prior untuk parameter
.
Dengan menerapkan teorema Bayes, joint posterior dari
ditulis menjadi :
,
|
|
=
commit to user
14
|
dan
dapat
perpustakaan.uns.ac.id
digilib.uns.ac.id
15
dimana
merupakan distribusi marginal dari .
Berdasarkan data sampel, probabilitas posterior model
|
!
=
dapat ditulis
# $ %& |' ( %& |
* '
"
)%&
(4.1).
Dalam pemilihan model dengan aturan Bayes, akan memilih model
yang
memberikan
probabilitas posterior
terbesar.
| / sebagai lawan memaksimumkan !
−2ln.!
| / = 2ln.
−2ln.!
Karena nilai
| g
∞
suatu konstanta tetap untuk model
Pada bentuk #3 L
∞
|
| 2
nilai
4.
, maka untuk tujuan
dapat disederhanakan, sehingga diperoleh
| )∝ −2ln(
−2ln !
g
|
)−2ln0#3
∞
| 2
≈ ln .
: /+.
= ln .
: /− .
/
−
| 2
g
4=7
|
(4.2).
, dengan mengambil ekspansi deret taylor
orde ke-2 dari log Likelihood di sekitar
|
| . Sehingga diperoleh
/ − 2ln0#3
/ − 2ln.
model seleksi bentuk 2 5
ln
Meminimumkan
−
′
′
|
, bentuk ln
,
1
+ .
2
dapat ditulis
/
−
].
−
′<
/
ln . : /
.
< < ′
−
/
(4.3)
dengan
Ι>.
Ι>.
, /=−
E & :'/
@A BCD.%
@%& @%′&
.
, / merupakan rata-rata pengamatan matriks informasi Fisher.
Dengan mengubah bentuk persamaan (4.3) ke dalam bentuk anti ln menjadi
|
≈ L.
: /exp − .
−
Dari persamaan (4.4) maka bentuk #3
∞
′
/ [5Ι>
|
g
,
].
| 2
−
/
(4.4)
dalam persamaan
(4.2) dapat ditulis menjadi
∫∞
0 ( | ) g(
| )2 =∫∞
0 (
(
−
1
) exp {− (
2
)}g(
| )2
commit to user
−
)′ [5Ι̂ (
, )]
(4.5).
perpustakaan.uns.ac.id
digilib.uns.ac.id
16
Karena g
|
#3
∞
|
2
g θJ |k 2
= 1 maka persamaan (4.5) dapat ditulis menjadi
= #3
∞
g
= .
: / exp L− .
−
′
/ M5Ι>.
, /N.
−
/O
∞
1
: / P exp Q− .
2
3
−
/ M5Ι>.
, /N.
−
/R
.
|
2
2π
nΙ>θJ
ST
=
.
: /
=
.
U
: /2π n [Ι>.
ST
′
ST
, /]
sehingga
7
|
∞
= −2 ln.
/ − 2ln VP
|
= −2 ln.
/ − 2ln{ .
: /2π A n
3
= −2 ln.
/ − 2ln .
Karena bentuk −2 ln.
model
/, −
ST
g
XT
| 2
X
U T
A
[Ι>.
: / + pJ ln 5 −
ln2π dan ln Ι.
ST
W
, /]}
ln2π + ln Ι>.
, /
(4.6).
, / suatu konstanta tetap untuk
, persamaan (4.6) dapat disederhanakan menjadi
7
|
∝ −2ln
= −2ln
| +Y ln 5
|
+Y ln 5
(4.7)
dengan,
. :
/ : fungsi maksimum likelihood
Y : jumlah parameter model
5 : banyaknya data.
Model yang dipilih dengan persamaan (4.7) adalah model yang memberikan nilai
BIC minimum (Cavanaugh, J.2005).
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
17
4.2 BIC dalam Regresi
Metode BIC didasarkan pada metode MLE. Metode MLE ini digunakan
untuk mencari fungsi maksimum likelihood dari model. Sebelum melakukan
pemilihan model dalam kasus regresi linear dengan metode BIC, residu data harus
memenuhi asumsi klasik regresi linear.
Untuk mendapatkan model terbaik perlu dilihat semua kombinasi yang
mungkin dari variabel independen yang berpengaruh terhadap model dan variabel
dependennya. Dari kombinasi yang diperoleh tersebut dipilih model terbaik.
Kombinasi yang paling baik untuk dijadikan model regresi terbaik dapat dilihat
dari nilai BIC yang diperoleh. Nilai BIC yang dipilih adalah nilai BIC terkecil
diantara beberapa kombinasi tersebut. Nilai BIC terkecil yang dimiliki model
berarti variansinya juga terkecil diantara model yang lain. Ini berarti bahwa residu
model yang dipilih kecil sehingga model cukup akurat. Untuk menentukan nilai
BIC dalam model regresi linear perlu diketahui rumus yang digunakan. Penurunan
rumus tersebut dapat diketahui berdasarkan penjelasan di bawah ini.
Bentuk
. :
/ dalam persamaan (4.7) disubtitusikan dengan fungsi
maksimum likelihood untuk regresi linear yaitu
7\] = −2ln Z| , [,
Z| , [,
+ Y ln 5
sehingga diperoleh
(4.8)
dengan,
Z| , [,
: fungsi maksimum likelihood
Y : banyaknya parameter
5 : banyaknya data.
Karena residu data mengikuti distribusi normal maka dapat dituliskan bentuk
umum fungsi likelihoodnya, sebagai berikut
Z| , [,
= ∏ab
√
"` A
c Y d−
commit to user
ef U'f g A
`A
h
(4.9)
perpustakaan.uns.ac.id
digilib.uns.ac.id
18
Selanjutnya persamaan (4.7) diubah ke dalam bentuk ln sehingga
ln
Z| , [,
ln
Z| , [,
ln
=−
5
ln 2
2
5
=−
2
2
ln 2
=−
Z| , [,
−
ln
ab
1 Z− [
− j
2
5
− ln
2
−
dimana Y adalah vektor 5 1 dan
Kemudian
ka −
1
− ij
2
5
ln
2
ln
−
l
Z− [
l
MZ ′ Z − 2[ ′ ′ Z + [′
adalah matriks 5
untuk memperoleh [> ,
Z| , [,
`A
′
a[
′
.
dicari turunan
[N
(4.10)
pertama dari bentuk
terhadap [ sama dengan nol, maka diperoleh
1 Z ′ Z − 2[ ′ ′ Z + [ ′
digilib.uns.ac.id
PEMILIHAN MODEL REGRESI TERBAIK DENGAN
BAYESIAN INFORMATION CRITERION (BIC)
oleh
NURUL KUSTINAH
M0106057
SKRIPSI
ditulis dan diajukan untuk memenuhi sebagian persyaratan
memperoleh gelar Sarjana Sains Matematika
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SEBELAS MARET SURAKARTA
2012
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
SKRIPSI
PEMILIHAN MODEL REGRESI TERBAIK DENGAN
BAYESIAN INFORMATION CRITERION (BIC)
yang disiapkan dan disusun oleh
NURUL KUSTINAH
M0106057
dibimbing oleh
Pembimbing I
Pembimbing II
Dra. Yuliana Susanti, M.Si
Bowo Winarno, S.Si, M.Kom
NIP. 19611219 198703 2 001
NIP. 19810430 200812 1 001
telah dipertahankan di depan Dewan Penguji
pada hari Senin, 2 Januari 2012
dan dinyatakan telah memenuhi syarat.
Anggota Tim Penguji
Tanda Tangan
1.
1. Dra. Respatiwulan, M.Si
NIP. 19680611 199302 2 001
2.
2. Drs. Siswanto, M.Si
NIP. 19670813 199203 1 002
Surakarta, 2 Januari 2012
Disahkan oleh
Fakultas Matematika dan Ilmu Pengetahuan Alam
Dekan
Ketua Jurusan Matematika
Ir. Ari Handono Ramelan, MSc., PhD
Irwan Susanto, DEA
NIP. 19610223 198601 1 001
NIP. 19710511 199512 1 001
commit to user
ii
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRAK
Nurul Kustinah, 2011. PEMILIHAN MODEL REGRESI TERBAIK
DENGAN BAYESIAN INFORMATION CRITERION (BIC). Fakultas
Matematika dan Ilmu Pengetahuan Alam. Universitas Sebelas Maret.
Pemilihan model regresi linear terbaik adalah memilih model regresi linear
yang memiliki kecocokan dengan data. Terdapat beberapa kriteria sebagai tolak
ukur untuk menilai suatu kecocokan model dengan data, salah satu satunya
adalah BIC.
BIC merupakan metode pemilihan model terbaik dari beberapa kandidat
model. Kriteria pemilihan model dengan menggunakan BIC didasarkan pada
teorema Bayesian dan metode MLE. Tujuan dari penelitian ini adalah mengkaji
ulang metode BIC dan menerapkannya dalam pemilihan model regresi terbaik.
Berdasarkan hasil penelitian menunjukkan bahwa BIC memiliki bentuk umum
yaitu
| = −2ln
+ ln .
Dalam memilih model regresi terbaik dengan BIC dilakukan dengan memilih
model dengan nilai BIC terkecil yang didapat dari
"
= ln2 + ln ! + # ln + 1.
$
Kata kunci: regresi linear, teorema Bayesian, MLE, BIC.
commit to user
iii
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRACT
Nurul Kustinah, 2011. THE BEST SELECTION REGRESSION MODEL
WITH BAYESIAN INFORMATION CRITERION (BIC). Faculty of
Mathematics and Natural Sciences. Sebelas Maret University.
The best regression model selection is method for selection the most
appropriate fit between the regression model and the data. There are several
criterias as a benchmark to evaluate the suitability of the model with data, one of
them is BIC.
BIC is a method in model selection to choose the best of several candidate
models. Criteria for model selection using BIC is based on Bayesian theorem and
MLE. The aims of this research are to review the BIC and apply it in the best
regression model selection. Based on the results, BIC has the general form
| = −2ln
+ ln .
In selecting the best regression model with BIC performed by selecting the model
with the smallest BIC value obtained from
"
= ln2 + ln ! + # ln + 1.
$
Keywords: linear regression, Bayesian theorem, MLE, BIC.
commit to user
iv
perpustakaan.uns.ac.id
digilib.uns.ac.id
MOTO
“Sesungguhnya sesudah kesulitan itu ada kemudahan.”
(QS. Alam Nasyrah: 6)
“Dan Dia mendapatimu sebagai seorang yang bingung,
lalu Dia beri petunjuk.”
(QS: Ad-Duhaa ayat 7)
“Jangan pernah menghindar dan selalu berkata tidak, majulah ke depan, hadapi
hidupmu dan berkatalah, ya, aku bisa!”
commit to user
v
perpustakaan.uns.ac.id
digilib.uns.ac.id
PERSEMBAHAN
Alhamdulillahirobbil ‘aalamiin...
Karya ini kupersembahkan untuk
Ibu dan Bapak tercinta
Yang tiada henti mendoakan aku
Kakakku Mas Rochim dan mbak Ita
Adikku Tirta dan Riyanti
Kak Gilang dan keluarga atas semua fasilitasnya
Valui Aditya dengan bantuan laptopnya
Damar, Bili, Uswa, Desi, Umi, Siti & Ahmad yang memberi semangat
commit to user
vi
perpustakaan.uns.ac.id
digilib.uns.ac.id
KATA PENGANTAR
Puji syukur penulis panjatkan kehadirat Tuhan Yang Maha Esa atas segala
rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan skripsi ini. Selain
itu, penulis mengucapkan terima kasih kepada seluruh pihak yang telah membantu
dalam penyusunan skripsi ini.
1. Dra. Yuliana Susanti, M.Si dan Bowo Winarno, S.Si, M.Kom selaku Dosen
Pembimbing I dan Dosen Pembimbing II yang telah memberikan bimbingan
kepada penulis.
2. Endah Krisna Murti yang telah memberi bantuan diskusi materi kepada
penulis.
3. Semua pihak yang telah membantu sehingga skripsi ini dapat selesai.
Semoga skripsi ini bermanfaat untuk semua pihak.
Surakarta, 2 Januari 2012
Penulis
commit to user
vii
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR ISI
Halaman
JUDUL .....................................................................................................
i
PENGESAHAN
.......................................................................................
ii
.............................................................................................
iii
ABSTRACT .............................................................................................
iv
MOTO
v
ABSTRAK
.....................................................................................................
PERSEMBAHAN
.................................................................................
vi
...........................................................................
vii
..........................................................................................
viii
KATA PENGANTAR
DAFTAR ISI
DAFTAR GAMBAR
DAFTAR TABEL
..............................................................................
ix
.................................................................................
xi
BAB I PENDAHULUAN
.....................................................................
1
1.1 Latar Belakang Masalah ................................................................
1
1.2 Rumusan Masalah
.....................................................................
2
1.3 Tujuan Penelitian
.....................................................................
2
1.4 Manfaat Penelitian
.....................................................................
2
BAB II LANDASAN TEORI ..................................................................
3
2.1 Tinjauan Pustaka
.....................................................................
2.1.1 Probabilitas Bersyarat
....................................................
2.1.2 Estimasi Maksimum Likelihood
......................................
2.1.3 Distribusi Prior dan Distribusi Posterior
3
3
4
........................
5
................................................................
6
2.1.5 Faktor Bayes .....................................................................
7
2.1.6 Uji Asumsi Klasik ..............................................................
8
2.1.7 Analisis Model Regresi
....................................................
11
.....................................................................
12
2.1.4 Teorema Bayes
2.2 Kerangka Pemikiran
BAB III METODE PENELITIAN
BAB IV PEMBAHASAN
.......................................................... 13
...................................................................... 14
4.1 Bayesian information criterion(BIC) ...............................................
commit to user
viii
14
perpustakaan.uns.ac.id
digilib.uns.ac.id
4.2 BIC dalam Regresi
...................................................................... 17
4.3 Contoh Aplikasi pemilihan Model Regresi Terbaik dengan BIC........ 19
BAB V PENUTUP
.................................................................................. 26
5.1 Kesimpulan
................................................................................... 26
5.2 Saran ............................................................................................... 26
DAFTAR PUSTAKA
............................................................................... 27
LAMPIRAN
commit to user
ix
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR GAMBAR
Gambar 2.1 Pola plot residu terhadap & ..................................................
Halaman
9
Gambar 4.1 Plot probabilitas dari residu ...........................................…..
20
Gambar 4.2 Plot residu dengan &
21
.............................................………..
commit to user
x
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR TABEL
Halaman
21
Tabel 4.1
Hasil Uji Multikolinearitas …………............…………….…
Tabel 4.2
Hasil Uji F ..............................................................................
23
Tabel 4.3
Hasil Uji t ................................................................................
24
Tabel 4.4
Nilai BIC dari model ...............................................................
24
commit to user
xi
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB I
PENDAHULUAN
1.1 Latar Belakang Masalah
Analisis regresi adalah teknik statistik yang digunakan untuk menyelidiki
dan memodelkan hubungan antara variabel-variabel yang terdiri dari variabel
independen dan variabel dependen. Model regresi adalah suatu cara untuk
mengetahui kecenderungan perubahan variabel dependen Y yang berubah sesuai
perubahan variabel independen X. Model regresi dapat digunakan untuk beberapa
tujuan antara lain untuk deskripsi data, estimasi dan prediksi. Penerapan dari
regresi sangat banyak dan dapat ditemukan hampir disetiap bidang ilmu
pengetahuan. Penerapan regresi diantaranya dapat ditemukan dalam analisis
runtun waktu, ilmu ekonomi, biologi, dan ilmu sosial (Sembiring,1995).
Pada analisis regresi hubungan antara variabel dependen (Y) dan beberapa
variabel independen (X) dapat dinyatakan dengan suatu model regresi linear yaitu
=
+
+ ⋯+
adalah parameter dan
untuk = 1,2, … ,
+ , dengan
adalah banyaknya variabel independen,
adalah sesatan random dengan asumsi
~
(0;
),
(Neter dan Wasserman, 1996).
Ada beberapa metode pemilihan model regresi terbaik, diantaranya adalah
metode Akaike’s Information Criterion (AIC) dan Bayesian Information Criterion
(BIC). BIC merupakan salah satu kriteria pemilihan model terbaik dimana konsep
dari metode ini dikemukakan oleh Schwarz (1978). Perumusan BIC menggunakan
teorema Bayesian untuk menentukan probabilitas posterior. Estimasi parameter
dalam model regresi menggunakan MLE. Kemudian BIC digunakan untuk
pemilihan model regresi. Hasil pemilihan model dengan BIC cukup akurat karena
jumlah parameter dalam model diperhatikan. Dalam penelitian ini, penulis
mengkaji ulang metode BIC dan menerapkannya dalam regresi linear.
commit to user
1
perpustakaan.uns.ac.id
digilib.uns.ac.id
2
1.2 Perumusan Masalah
Berdasarkan uraian dalam latar belakang masalah, dapat dirumuskan
permasalahan yaitu bagaimana menurunkan ulang metode BIC dan penerapan BIC
dalam pemilihan model regresi terbaik.
1.3 Tujuan Penelitian
Tujuan yang ingin dicapai adalah menjelaskan metode BIC dan
menerapkan BIC dalam regresi linear.
1.4 Manfaat Penelitian
Memberikan pemahaman yang lebih tentang BIC untuk pemilihan model
regresi terbaik dan sebagai bahan referensi penelitian yang akan datang.
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB II
LANDASAN TEORI
2.1 Tinjauan Pustaka
Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang terdiri
dari definisi maupun teorema sebagai dasar pengertian untuk mempermudah
pembahasan selanjutnya. Pada bagian kedua dari bab ini disusun kerangka
pemikiran yang menjelaskan alur dalam penulisan skripsi ini. Berikut ini akan
diberikan beberapa definisi dan pengertian yang mendukung pemilihan model
regresi terbaik berdasarkan metode BIC.
2.1.1 Probabilitas bersyarat
Pengertian tentang probabilitas bersyarat peristiwa A jika diketahui B telah
terjadi ditulis sebagai
|
pada dua kejadian independen dan fungsi likelihood
diberikan pada definisi dan teorema berikut menurut Bain dan Engelhardt(1992).
Definisi 2.1. Diberikan suatu percobaan dengan S sebagai ruang sampel dan
A1, A2, A3,… ,An merupakan kejadian asing yang mungkin terjadi. Sebuah fungsi
yang mengawankan nilai real dari P(A) dengan setiap kejadian A disebut
probabilitas dari A, dinotasikan P(A), jika memenuhi :
≥ 0 untuk setiap
1.
2. P (S) = 1
3.
⋃
= ∑
himpunan bagian
.
Probabilitas terjadinya suatu peristiwa A, bila diketahui peristiwa B telah terjadi
|
disebut probabilitas bersyarat dan dinotasikan
.
Definisi 2.2 S suatu ruang sampel dan A, B adalah peristiwa-peristiwa di dalam
S. Probabilitas bersyarat P(A|B) didefinisikan sebagai
|
=
∩
commit to user
3
.
perpustakaan.uns.ac.id
digilib.uns.ac.id
4
Definisi 2.3. S adalah suatu ruang sampel dari suatu percobaan. A1 , A2, ... , Ak
∩
adalah peristiwa-peristiwa di dalam S, sedemikian hingga
setiap ≠
= .
dan ⋃
= ∅ untuk
Dikatakan bahwa A1 , A2, ... , Ak membentuk partisi dalam S.
Teorema 2.1. (Teorema Probabilitas Total). Jika A=[ A1 , A2, ... , Ak] adalah
partisi S dan B sebarang peristiwa anggota S, maka
P(B)=P(B|A1)P(A1)+P(B|A2)P(A2)+ ... +P(B|Ak)P(Ak).
2.1.2 Estimasi Maksimum Likelihood
Pengertian tentang estimasi maksimum likelihood yang diberikan pada
definisi berikut menurut Bain dan Engelhardt(1992).
Definisi 2.4. Fungsi kepadatan bersama dari n variabel random
pada
,
,…,
dilambangkan dengan !
,
,…,
,
,…,
; # dengan # $ % dimana
% adalah ruang parameter yang tidak diketahui dinyatakan dengan fungsi
likelihood. Untuk
,
,…,
yang tetap fungsi likelihood adalah fungsi dari #
dan dinotasikan & # . Jika
,
,…,
mewakili sampel random dari !
,#
maka,
& # =∏
!
;# = !
Definisi 2.5. Misalkan & # = !
,
;# !
,…,
;# …!
; # dengan # $ %, adalah fungsi
,
kepadatan bersama dari variabel random
pengamatan
,
,…,
;# .
…,
. Untuk himpunan
, suatu nilai #( dalam % yang memaksimumkan & #
disebut sebagai estimator maksimum likelihood dari #. Secara sistematis ditulis,
!) ,
,…,
; #( * =
./0
+,-!
,
,…,
;# .
Memaksimumkan log & # lebih mudah dibandingkan memaksimumkan
& # sehingga dapat ditulis sebagai,
log !) ,
,…,
; #( * =
./0
+,-!
commit to user
,
,…,
;# .
perpustakaan.uns.ac.id
digilib.uns.ac.id
5
Apabila Ω adalah interval terbuka dari L(#
yang differensiabel dan
diasumsikan maksimum pada Ω, maka estimator maksimum likelihood dari #
diperoleh dengan menyelesaikan persamaan
23456 +
2+
= 0.
Jika terdapat lebih dari satu penyelesaian untuk # maka dicari
penyelesaian yang memaksimumkan L(# dengan membandingkan penyelesaian
untuk # yang telah diperoleh. Kemudian dicari turunan kedua dari L(# . Bila
nilainya negatif maka penyelesaian untuk # tersebut merupakan estimator
maksimum.
Kegunaan MLE dalam mendapatkan estimator parameter dari suatu
distribusi dapat digunakan untuk menyusun suatu matriks yang disebut matriks
informasi Fisher. Invers dari matriks ini disebut matriks invarian-kovarian. Untuk
menentukan variansi dan kovariansi yang asimtotik dari estimator maka
dikonstruksikan sebuah matriks informasi I dengan elemen ke- 8 adalah :
< log& #;
I9 = :;
ik/opV
−
|,
= 1,2, … , s.
dengan,
re
: fungsi distribusi frekuensi kumulatif relatif dari distribusi teoritis di
bawah de .
: distribusi frekuensi kumulatif pengamatan sebanyak sampel.
e. Kesimpulan : Jika de ditolak maka data tidak berdistribusi normal.
2.1.6.2 Heteroskedastisitas
Uji heterokedastisitas bertujuan untuk mengetahui apakah variansi `
konstan. Pendeteksian kesamaan variansi dapat dilakukan dengan membuat plot
sisa terhadap t( . Plot yang diperoleh seharusnya tidak menghasilkan pola tertentu
dan terkumpul di sekitar garis lurus yang melalui titik nol.
Montgomery dan Peck (1992) menggambarkan beberapa plot sisa terhadap
t( sebagai berikut
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
9
`
`
t(
(a)
(b)
`
`
t(
(c)
t(
i
t(
(d)
Gambar 2.1 Pola plot residu terhadap t(
Jika hasil plot mirip pola pada Gambar 2.1a maka berarti asumsi
homogenitas variansi dipenuhi karena titik tersebar. Pada Gambar 2.1b
menunjukkan
bahwa
titik
tersebar
dengan
variansi
tidak
konstan
(heteroskedastisitas). Pola pada Gambar 2.1c seharusnya tidak akan muncul
kecuali kalau ada kesalahan dalam perhitungan. Pola Gambar 2.1d menunjukkan
model yang digunakan kurang tepat, atau perlu dilakukan transformasi.
2.1.6.3 Mutikolinearitas
Menurut Montgomery dan Peck (1992), salah satu cara mendeteksi adanya
multikolinearitas dalam model adalah dengan nilai tolerance dan VIF (Variance
Inflation Factors). Matriks u =
′
A
adalah matriks untuk mendeteksi adanya
multikolinearitas dengan u99 merupakan diagonal matriks u yang dapat ditulis
vwr9 = u99 =
1
1 − x9
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
10
dengan x9 adalah nilai koefisien determinasi atau x ketika
dengan variabel bebas selain
yang diregresikan
. vwr9 adalah faktor perubahan variansi dalam
variabel bebas ke-j. Nilai vwr > 10 menunjukkan multikolinearitas yang kuat.
2.1.6.4 Autokorelasi
Autokorelasi adalah suatu keadaan kesalahan gangguan dari periode
tertentu berkorelasi dengan kesalahan gangguan dari periode sebelumnya. Jika
kesalahan gangguan periode y dengan y − 1 berkorelasi maka terjadi korelasi
tingkat pertama. Autokorelasi dapat dideteksi dengan berbagai cara antara lain
dengan uji Durbin Watson. Langkah-langkah pengujian autokorelasi dengan
Durbin Watson adalah sebagai berikut (Gujarati, 1995):
1. Melakukan regresi kuadrat terkecil biasa dan memperoleh residu
2. Menghitung nilai \ (statistik Durbin Watson ), dengan
\=
∑k
$k − $kA
∑k $k
3. Mencari nilai \6 (batas bawah Durbin Watson) dan \z (batas atas Durbin
Watson) untuk ukuran sampel dan banyaknya variabel independen tertentu.
4. Jika de adalah tidak terdapat autokorelasi positif, maka jika
\ < \6 : menolak de
\ > \z : tidak menolak de
\6 ≤ \ ≤ \z : pengujian tidak meyakinkan
5. Jika de adalah tidak terdapat autokorelasi negatif, maka jika
\ > 4 − \6 : menolak de
\ < 4 − \z : tidak menolak de
4 − \z ≤ \ ≤ 4 − \6 : pengujian tidak meyakinkan
6. Jika de adalah tidak terdapat autokorelasi positif atau negatif, maka jika
\ < \6 : menolak de
\ > 4 − \6 : menolak de
\z < \ < 4 − \z : tidak menolak de
\6 ≤ \ ≤ \z : pengujian tidak meyakinkan
4 − \z ≤ \ ≤ 4 − \6 : pengujian tidak meyakinkan
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
11
2.1.7
Analisis Model Regresi
2.1.7.1 Uji Serempak (Uji F)
Menurut Supranto (1995) uji serempak dilakukan untuk mengetahui
apakah variabel independen berpengaruh secara bersama-sama terhadap variabel
dependen. Sebelum pengujian hipotesis akan dicari perumusan rj kl m terlebih
dahulu
rj kl
m
=
†‡x/ ^ − 1
x‡x
=
†‡ / s − ^
x‡
dengan,
x‡x: Rataan Kuadrat Regresi
x‡ : Rataan Kuadrat Sisa
Pengujian hipotesis yang digunakan adalah sebagai berikut :
a. de : ‰ = ‰ = ⋯ = ‰ = 0 (variabel independen secara bersama-sama tidak
mempunyai pengaruh yang signifikan terhadap variabel dependen)
d ∶ ‰9 ≠ 0, untuk 8 = 1, 2, … ,
(variabel independen secara bersama-sama
mempunyai pengaruh yang signifikan terhadap variabel dependen)
b. Tingkat signifikasi h
c. Daerah kritis: de ditolak jikarj kl
m
> r Š,‹A
d. Statistik uji
rj kl
m
=
, A‹
x‡x
x‡
e. Kesimpulan : Jika de ditolak maka variabel independen secara bersama-sama
mempunyai pengaruh yang signifikan terhadap variabel dependen.
2.1.7.2 Uji Parsial (Uji t)
Menurut Supranto (1995) uji parsial dilakukan untuk mengetahui pengaruh
variabel independen secara individual terhadap variabel dependen, dengan
menganggap variabel independen lainnya konstan.
Pengujian hipotesis yang digunakan adalah sebagai berikut :
a. de : ‰9 = 0, untuk 8 = 1, 2, … ,
(tidak ada pengaruh yang signifikan antara
variabel independen ke-j terhadap variabel dependen)
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
12
d ∶ ‰9 ≠ 0, untuk 8 = 1, 2, … ,
(ada pengaruh yang signifikan antara variabel
indenpenden ke-j terhadap variabel dependen)
b. Tingkat signifikasi h
c. Daerah kritis, de ditolak jika yj kl
m
> y Š/
d. Statistik uji
yj kl
dengan,
‰9
m
atau −yj kl
m
< y Š/
, A‹
‰9
: ‰9
=
= koefisien regresi independen
, A‹
9
:)‰9 * = sesatan standar dari koefisien regrsi ‰9 .
e. Kesimpulan : Jika de ditolak maka ada pengaruh yang signifikan antara
variabel independen ke-j terhadap variabel dependen.
2.2 Kerangka Pemikiran
BIC merupakan suatu metode pemilihan model dengan menerapkan
beberapa teorema Bayesian dan MLE dalam penurunan rumusnya. Selanjutnya
hasil penurunan rumus yang diperoleh diterapkan dalam regresi linear. Rumus
yang diperoleh untuk regresi diterapkan untuk menentukan model terbaik pada
suatu data. Data diregresikan dengan regresi linear kemudian sesatan model diuji
dengan
asumsi
multikolinearitas,
klasik
tidak
regresi
terdapat
linear
yaitu
normalitas,
heteroskedastisitas
dan
tidak
terdapat
tidak
terdapat
autokorelasi. Kemudian model dipilih sebagai model terbaik menurut metode BIC.
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB III
METODE PENELITIAN
Pada penelitian ini, metode yang digunakan adalah studi literatur dan
penerapan kasus, dengan pengumpulan bahan melalui buku-buku referensi dan
karya ilmiah yang meliputi hasil-hasil penelitian dan jurnal. Adapun langkah
penelitian sebagai berikut.
1. Menurunkan rumus Bayesian Information Criterion (BIC) sehingga diperoleh
bentuk umum BIC.
2. Menentukan rumus BIC berdasarkan bentuk umum yang diperoleh pada
langkah nomor 1 untuk memilih model regresi terbaik.
3. Menentukan data yang digunakan kemudian uji residu data dengan uji asumsi
klasik regresi linear
4. Pilih model regresi terbaik dengan metode BIC, dimana nilai BIC dihitung
dengan cara
dari masing-masing kombinasi model
a. Hitung nilai
b. Hitung nilai
ln
dari masing-masing kombinasi model
c. Hitung nilai ln2
d. Hitung nilai BIC dari masing-masing kombinasi model yang diperoleh dari
= ln2 + ln
+
ln + 1
e. Pilih model dengan nilai BIC terkecil sebagai model terbaik
commit to user
13
perpustakaan.uns.ac.id
digilib.uns.ac.id
BAB IV
PEMBAHASAN
BIC merupakan metode pemilihan model terbaik dari beberapa kandidat
model. Konsep BIC pertama kali diperkenalkan oleh Schwarz (1978), BIC yang
dikembangkan oleh Schwarz ini menggunakan beberapa teorema Bayesian,
sehingga BIC dikenal juga dengan Schwarz’s Bayesian Information Criterion
(SBIC) dan ada juga yang menyebutnya dengan Schwarz Bayesian Criterion
(SBC). Metode pemilihan model dengan menggunakan BIC didasarkan pada
metode MLE dan teorema Bayesian. Dalam memilih model terbaik dengan
metode BIC dipilih model dengan nilai BIC terkecil. Semakin kecil nilai BIC
semakin baik modelnya. Hal ini dikarenakan dengan meningkatnya
akan
meningkatkan nilai BIC. Oleh karena itu, dipilih nilai BIC terkecil (Fathurahman,
2009).
4.1 Bayesian Information Criterion (BIC)
BIC adalah metode pemilihan model dari beberapa kandidat model.
=
Bentuk umum BIC dicari untuk n data sampel
,
,…,
, berdasarkan
data sampel tersebut akan dipilih suatu model terbaik dari l model yang mungkin
yaitu
,
,…,
∈
, dimana
,
,…,
|
digambarkan dengan probabilitas
parameter dari
|
dan
∈ 1,2, … , . Model
dan
Θ
, dimana
merupakan fungsi likelihoodnya dengan
adalah estimasi maksimum likelihood dari parameter
,
prior diskrit pada model
dari model
adalah vektor
,…,
dan
|
. Misalkan
adalah
adalah prior untuk parameter
.
Dengan menerapkan teorema Bayes, joint posterior dari
ditulis menjadi :
,
|
|
=
commit to user
14
|
dan
dapat
perpustakaan.uns.ac.id
digilib.uns.ac.id
15
dimana
merupakan distribusi marginal dari .
Berdasarkan data sampel, probabilitas posterior model
|
!
=
dapat ditulis
# $ %& |' ( %& |
* '
"
)%&
(4.1).
Dalam pemilihan model dengan aturan Bayes, akan memilih model
yang
memberikan
probabilitas posterior
terbesar.
| / sebagai lawan memaksimumkan !
−2ln.!
| / = 2ln.
−2ln.!
Karena nilai
| g
∞
suatu konstanta tetap untuk model
Pada bentuk #3 L
∞
|
| 2
nilai
4.
, maka untuk tujuan
dapat disederhanakan, sehingga diperoleh
| )∝ −2ln(
−2ln !
g
|
)−2ln0#3
∞
| 2
≈ ln .
: /+.
= ln .
: /− .
/
−
| 2
g
4=7
|
(4.2).
, dengan mengambil ekspansi deret taylor
orde ke-2 dari log Likelihood di sekitar
|
| . Sehingga diperoleh
/ − 2ln0#3
/ − 2ln.
model seleksi bentuk 2 5
ln
Meminimumkan
−
′
′
|
, bentuk ln
,
1
+ .
2
dapat ditulis
/
−
].
−
′<
/
ln . : /
.
< < ′
−
/
(4.3)
dengan
Ι>.
Ι>.
, /=−
E & :'/
@A BCD.%
@%& @%′&
.
, / merupakan rata-rata pengamatan matriks informasi Fisher.
Dengan mengubah bentuk persamaan (4.3) ke dalam bentuk anti ln menjadi
|
≈ L.
: /exp − .
−
Dari persamaan (4.4) maka bentuk #3
∞
′
/ [5Ι>
|
g
,
].
| 2
−
/
(4.4)
dalam persamaan
(4.2) dapat ditulis menjadi
∫∞
0 ( | ) g(
| )2 =∫∞
0 (
(
−
1
) exp {− (
2
)}g(
| )2
commit to user
−
)′ [5Ι̂ (
, )]
(4.5).
perpustakaan.uns.ac.id
digilib.uns.ac.id
16
Karena g
|
#3
∞
|
2
g θJ |k 2
= 1 maka persamaan (4.5) dapat ditulis menjadi
= #3
∞
g
= .
: / exp L− .
−
′
/ M5Ι>.
, /N.
−
/O
∞
1
: / P exp Q− .
2
3
−
/ M5Ι>.
, /N.
−
/R
.
|
2
2π
nΙ>θJ
ST
=
.
: /
=
.
U
: /2π n [Ι>.
ST
′
ST
, /]
sehingga
7
|
∞
= −2 ln.
/ − 2ln VP
|
= −2 ln.
/ − 2ln{ .
: /2π A n
3
= −2 ln.
/ − 2ln .
Karena bentuk −2 ln.
model
/, −
ST
g
XT
| 2
X
U T
A
[Ι>.
: / + pJ ln 5 −
ln2π dan ln Ι.
ST
W
, /]}
ln2π + ln Ι>.
, /
(4.6).
, / suatu konstanta tetap untuk
, persamaan (4.6) dapat disederhanakan menjadi
7
|
∝ −2ln
= −2ln
| +Y ln 5
|
+Y ln 5
(4.7)
dengan,
. :
/ : fungsi maksimum likelihood
Y : jumlah parameter model
5 : banyaknya data.
Model yang dipilih dengan persamaan (4.7) adalah model yang memberikan nilai
BIC minimum (Cavanaugh, J.2005).
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
17
4.2 BIC dalam Regresi
Metode BIC didasarkan pada metode MLE. Metode MLE ini digunakan
untuk mencari fungsi maksimum likelihood dari model. Sebelum melakukan
pemilihan model dalam kasus regresi linear dengan metode BIC, residu data harus
memenuhi asumsi klasik regresi linear.
Untuk mendapatkan model terbaik perlu dilihat semua kombinasi yang
mungkin dari variabel independen yang berpengaruh terhadap model dan variabel
dependennya. Dari kombinasi yang diperoleh tersebut dipilih model terbaik.
Kombinasi yang paling baik untuk dijadikan model regresi terbaik dapat dilihat
dari nilai BIC yang diperoleh. Nilai BIC yang dipilih adalah nilai BIC terkecil
diantara beberapa kombinasi tersebut. Nilai BIC terkecil yang dimiliki model
berarti variansinya juga terkecil diantara model yang lain. Ini berarti bahwa residu
model yang dipilih kecil sehingga model cukup akurat. Untuk menentukan nilai
BIC dalam model regresi linear perlu diketahui rumus yang digunakan. Penurunan
rumus tersebut dapat diketahui berdasarkan penjelasan di bawah ini.
Bentuk
. :
/ dalam persamaan (4.7) disubtitusikan dengan fungsi
maksimum likelihood untuk regresi linear yaitu
7\] = −2ln Z| , [,
Z| , [,
+ Y ln 5
sehingga diperoleh
(4.8)
dengan,
Z| , [,
: fungsi maksimum likelihood
Y : banyaknya parameter
5 : banyaknya data.
Karena residu data mengikuti distribusi normal maka dapat dituliskan bentuk
umum fungsi likelihoodnya, sebagai berikut
Z| , [,
= ∏ab
√
"` A
c Y d−
commit to user
ef U'f g A
`A
h
(4.9)
perpustakaan.uns.ac.id
digilib.uns.ac.id
18
Selanjutnya persamaan (4.7) diubah ke dalam bentuk ln sehingga
ln
Z| , [,
ln
Z| , [,
ln
=−
5
ln 2
2
5
=−
2
2
ln 2
=−
Z| , [,
−
ln
ab
1 Z− [
− j
2
5
− ln
2
−
dimana Y adalah vektor 5 1 dan
Kemudian
ka −
1
− ij
2
5
ln
2
ln
−
l
Z− [
l
MZ ′ Z − 2[ ′ ′ Z + [′
adalah matriks 5
untuk memperoleh [> ,
Z| , [,
`A
′
a[
′
.
dicari turunan
[N
(4.10)
pertama dari bentuk
terhadap [ sama dengan nol, maka diperoleh
1 Z ′ Z − 2[ ′ ′ Z + [ ′