Perbandingan Vertex Discriminant Analysis (Vda) Dan Quadratic Discriminant Analysis (Qda) (Studi Kasus Pengklasifikasian Provinsi Dan Kabupaten/Kota Di Pulau Sumatera Berdasarkan Tingkat Kemiskinan).
PERBANDINGAN VERTEX DISCRIMINANT ANALYSIS (VDA)
DAN QUADRATIC DISCRIMINANT ANALYSIS (QDA)
(Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)
HELGA KURNIA
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa tesis berjudul Perbandingan Vertex
Discriminant Analysis (VDA) dan Quadratic Discriminant Analysis (QDA) (Studi
Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di Pulau Sumatera
Berdasarkan Tingkat Kemiskinan) adalah benar karya saya dengan arahan dari
komisi pembimbing dan belum diajukan dalam bentuk apapun kepada perguruan
tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang
diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks
dan dicantumkan dalam Daftar Pustaka di bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Agustus 2015
Helga Kurnia
NIM G151120211
RINGKASAN
HELGA KURNIA. Perbandingan Vertex Discriminant Analysis (VDA) dan
Quadratic Discriminant Analysis (QDA) (Studi Kasus Pengklasifikasian Provinsi
dan Kabupaten/Kota di Pulau Sumatera Berdasarkan Tingkat Kemiskinan).
Dibimbing oleh I MADE SUMERTAJAYA dan FARIT M. AFENDI.
Analisis diskriminan merupakan suatu analisis pada data peubah ganda
yang digunakan untuk mengklasifikasikan setiap observasi ke dalam kelas yang
saling bebas berdasarkan peubah-peubah pencirinya. Analisis diskriminan yang
sering digunakan adalah Linear Discriminant Analysis (LDA) dengan pendekatan
Fisher. Pembentukan fungsi diskriminan pada LDA melibatkan komponen
matriks kovarian bersama. Struktur matriks kovarian antarkelas harus sama
sehingga dapat digabungkan membentuk matriks kovarian bersama. Apabila
matriks kovarian antarkelas berbeda, penggunaan LDA menjadi tidak valid.
Quadratic Discriminant Analysis (QDA) dapat mengatasi masalah ini. Pada saat
jumlah peubah lebih banyak daripada observasi (n < p), LDA dan QDA tidak
dapat dilakukan karena rank dari matriks lebih kecil dari jumlah peubah. Hal ini
mengakibatkan matriks kovarian singular, sehingga tidak memiliki invers. Hal
tersebut dapat diatasi dengan Vertex Discriminant Analysis (VDA). Oleh karena
itu, pada penelitian ini dilakukan perbandingan antara VDA dan QDA dengan
menggunakan data simulasi dan data kasus terapan. Pada data dengan jumlah
observasi lebih besar dari jumlah peubah (n > p), secara umum kemampuan
klasifikasi VDA dan QDA hampir sama. Akan tetapi, VDA memiliki ketepatan
klasifikasi lebih kecil dibandingkan QDA pada saat keragaman antarkelas besar
dan jarak nilai tengah antarkelas dekat. Pada data dengan jumlah observasi lebih
kecil dari jumlah peubah (n < p), hanya VDA yang dapat dilakukan. Hasil kajian
terapan sesuai dengan hasil kajian simulasi.
Kata kunci : analisis diskriminan kuadratik, analisis peubah ganda, vertex
discriminant analysis
SUMMARY
HELGA KURNIA. Comparison of Vertex Discriminant Analysis (VDA) and
Quadratic Discriminant Analysis (QDA) (Case Study of Province and City
Clasification in Sumatera Based on Poverty Level). Supervised by I MADE
SUMERTAJAYA and FARIT M. AFENDI.
Discriminant analysis is one of the multivariate analysis concerned with
separating distinct sets of observations and with allocating new observations to
previously defined groups based on its feature variables. One of the discriminant
analysis that frequently used is Fisher linear discriminant analysis (LDA). The
development of discriminant function on LDA involve the pooled covariance
matrix component. Structure of covariance matrix each classes have to similar in
order to be able to be merged as pooled covariance matrix. When the structure of
covariance matrix each classes are different, LDA will be invalid. Alternatively
quadratic discriminant analysis (QDA) will be the solution of this. However,
when the number of variables is more than number of observations (n < p) both
LDA & QDA could not be executed due to rank of matrix lower than number of
variables, thus covariance matrix become singular and have no invers. To solve
the issue, we can use vertex discriminant analysis (VDA). In this research, we are
comparing the VDA and QDA using simulated and case study data. When the
number of observations more than number of variables (n > p), in overall the
VDA and QDA performance are relatively similar. However the VDA
classification accuracy lower than QDA when interclass variance is big and
interclass means are near. When the number of observation less than number of
variables (n < p), only VDA can be executed. Case study data shows the same
results as simulated data.
Keywords : quadratic discriminant analysis, multivariate analysis, vertex
discriminant analysis
© Hak Cipta Milik IPB. Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan
atau menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan,
penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau
tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan
IPB
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
PERBANDINGAN VERTEX DISCRIMINANT ANALYSIS (VDA)
DAN QUADRATIC DISCRIMINANT ANALYSIS (QDA)
(Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)
HELGA KURNIA
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Sains pada
Program Studi Statistika
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
Penguji pada Ujian Tesis:
Dr. Bagus Sartono, M.Si., S.Si
Judul Tesis
Nama
NIM
: Perbandingan Vertex Discriminant Analysis (VDA) dan
Quadratic Discriminant Analysis (QDA)
(Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)
: Helga Kurnia
: G151120211
Disetujui oleh
Komisi Pembimbing
Dr Ir I Made Sumertajaya, MSi
Ketua
Dr Farit M Afendi, SSi MSi
Anggota
Diketahui oleh
Ketua Program Studi
Statistika
Dekan Sekolah Pascasarjana
Dr Ir Kusman Sadik, MSi
Dr Ir Dahrul Syah, MScAgr
Tanggal Ujian: 19 Agustus 2015
Tanggal Lulus: 07/10/2015
PRAKATA
Puji dan syukur penulis ucapkan kehadirat Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga penulis dapat menyelesaikan tesis yang berjudul
“Perbandingan Vertex Discriminant Analysis (VDA) dan Quadratic Discriminant
Analysis (QDA) (Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)”. Keberhasilan penulisan tesis
ini tidak lepas dari bantuan, bimbingan, dan petunjuk dari berbagai pihak.
Terima kasih penulis ucapkan kepada Bapak Dr Ir I Made Sumertajaya,
M.Si dan Bapak Dr Farit M. Afendi, S.Si., M.Si selaku pembimbing yang telah
banyak memberi bimbingan, arahan, serta saran kepada penulis. Terimakasih juga
kepada Kementerian Pendidikan dan Kebudayaan yang telah memberikan penulis
Beasiswa Unggulan untuk staf dan telah memberikan tugas belajar kepada
penulis. Ungkapan terima kasih terkhusus penulis sampaikan kepada suami, orang
tua, anak-anak, seluruh keluarga, dosen-dosen, dan teman-teman atas do’a,
dukungan, dan kasih sayangnya. Terima kasih pula kepada seluruh staf Program
Studi Statistika dan rekan-rekan di Pusat Kurikulum dan Perbukuan Balitbang
Kementerian Pendidikan dan Kebudayaan atas bantuan, dukungan, dan
kebersamaannya.
Semoga tesis ini bermanfaat serta dapat menambah wawasan bagi para
pembaca. Kritikan yang membangun sangat penulis harapkan demi perbaikan
tesis ini dimasa yang akan datang.
Bogor, Agustus 2015
Helga Kurnia
DAFTAR ISI
DAFTAR TABEL
DAFTAR GAMBAR
DAFTAR LAMPIRAN
1 PENDAHULUAN
Latar Belakang
Tujuan Penelitian
2 TINJAUAN PUSTAKA
Analisis Diskriminan
Analisis Diskriminan Linier dan Non-linier
Quadratic Discriminant Analysis (QDA)
Vertex Discriminant Analysis (VDA)
Vertex pada Ruang −1
Meminimumkan Fungsi Kerugian (Loss Function)
Fungsi Tujuan pada VDA
Algoritma MM (Majorize-Minimize) pada VDA
Mayorisasi dari Jarak ϵ-insensitif dan Fungsi Tujuan
Algoritma VDA
3 DATA DAN METODE
Data
Data Simulasi
Data Kasus Terapan
Metode Analisis
4 HASIL DAN PEMBAHASAN
Kajian Simulasi
Kajian Kasus Terapan
Deskripsi Data
Hasil Uji Box’s
Hasil Analisis Diskriminan Kuadratik (QDA)
VDA pada Data Kabupaten
VDA pada Data Kabupaten dengan Penambahan Komponen Kuadratik
VDA pada Data Provinsi
VDA pada Data Provinsi dengan Penambahan Komponen Kuadratik
Perbandingan Ketepatan Klasifikasi antara QDA dan VDA
5 SIMPULAN DAN SARAN
Simpulan
Saran
DAFTAR PUSTAKA
vi
vi
vi
1
1
2
2
2
2
3
4
4
5
5
6
6
7
7
7
8
9
9
11
11
13
13
16
16
17
18
19
19
21
22
21
21
23
LAMPIRAN
25
RIWAYAT HIDUP
33
DAFTAR TABEL
1 Skenario simulasi
2 Perbandingan rataan ketepatan klasifikasi antara VDA dan QDA
3 Jumlah kabupaten/kota setiap kelas dan karakteristik masing-masing
kelas
4 Jumlah provinsi setiap kelas dan karakteristik masing-masing kelas
5 Ketepatan klasifikasi pada data training kabupaten/kota
6 Ketepatan klasifikasi QDA pada data testing kabupaten/kota
7 Ketepatan klasifikasi VDA pada data training kabupaten/kota
8 Ketepatan klasifikasi VDA pada data testing kabupaten/kota
9 Ketepatan klasifikasi VDA pada data training kabupaten/kota dengan
penambahan komponen kuadratik
10 Ketepatan klasifikasi VDA pada data testing kabupaten/kota dengan
penambahan komponen kuadratik
11 Ketepatan klasifikasi VDA pada data testing provinsi 20%
12 Ketepatan klasifikasi VDA pada data testing provinsi 40%
13 Ketepatan klasifikasi VDA pada data testing provinsi 50%
14 Ketepatan klasifikasi VDA pada data testing provinsi 20% dengan
penambahan komponen kuadratik
15 Ketepatan klasifikasi VDA pada data testing provinsi 40% dengan
penambahan komponen kuadratik
16 Ketepatan klasifikasi VDA pada data testing provinsi 50% dengan
penambahan komponen kuadratik
17 Perbandingan ketepatan klasifikasi antara QDA, VDA, dan VDA
dengan penambahan komponen kuadratik pada data kabupaten/kota
18 Perbandingan ketepatan klasifikasi antara QDA, VDA, dan VDA
dengan penambahan komponen kuadratik pada data provinsi
8
11
14
15
16
16
17
17
18
18
19
19
19
21
21
21
22
22
DAFTAR GAMBAR
1
2
3
4
Penentuan indikator vertex untuk tiga kelas
Boxplot ketepatan klasifikasi data simulasi
Perbandingan persentase kebaikan klasifikasi antara QDA dan VDA
dari 100 kali ulangan data simulasi
Histogram tingkat kemiskinan kabupaten/kota di Sumatera
5
12
12
13
DAFTAR LAMPIRAN
1
2
3
4
5
Daftar kabupaten/kota di Sumatera dan klasifikasinya
Daftar provinsi di Sumatera dan klasifikasi berdasarkan tingkat kemiskinan
Rataan peubah-peubah di setiap kelas pada data kabupaten/kota
Rataan peubah-peubah di setiap kelas pada data provinsi
Matriks jarak antar-provinsi
25
29
30
31
32
1
1 PENDAHULUAN
Latar Belakang
Analisis diskriminan merupakan suatu analisis pada data peubah ganda yang
digunakan untuk mengklasifikasikan setiap observasi ke dalam kelas yang saling
bebas berdasarkan peubah-peubah pencirinya. Analisis diskriminan sampai saat
ini masih mengalami perkembangan secara aktif. Analisis diskriminan yang sering
digunakan adalah linear discriminant analysis (LDA) dengan pendekatan Fisher.
Pembentukan fungsi diskriminan pada LDA melibatkan komponen matriks
kovarian bersama. Matriks kovarian bersama dapat dibentuk jika struktur matriks
kovarian antarkelas sama sehingga dapat digabungkan. Bila matriks kovarian
antarkelas berbeda penggunaan LDA menjadi tidak valid. quadratic discriminant
analysis (QDA) dapat mengatasi masalah ini. Pada saat jumlah peubah lebih
banyak daripada observasinya (n < p). LDA dan QDA tidak dapat dilakukan
karena rank dari matriks lebih kecil dari jumlah peubah, mengakibatkan matriks
kovarian singular, sehingga tidak memiliki invers. Menurut Wu & Lange (2008)
hal tersebut dapat diatasi dengan vertex discriminant analysis (VDA). Pada
penelitian ini akan dilakukan perbandingan antara VDA dan QDA, sementara
penelitian tentang perbandingan antara VDA dan LDA sudah dilakukan oleh
Nurmaleni (2015).
Kajian kasus pada penelitian ini menggunakan data tentang kemiskinan di
pulau Sumatera yang dipublikasikan oleh Tim Nasional Percepatan
Penanggulangan Kemiskinan (TNP2K) pada website www.tnp2k.go.id. Data ini
diambil berdasarkan pertimbangan bahwa kemiskinan merupakan permasalahan
bangsa. Pemerintah telah melaksanakan penanggulangan kemiskinan melalui
berbagai program baik di tingkat pusat maupun di daerah. Program pemerintah
dalam penanggulangan kemiskinan di daerah diharapkan dapat berjalan optimal
dan lebih bermanfaat jika ada kebijakan yang berbeda antardaerah. Perbedaan
kebijakan tersebut disesuaikan dengan tinggi rendahnya tingkat kemiskinan
daerah dan kebutuhan daerah yang bersangkutan. Oleh karena itu, dibutuhkan
identifikasi pengklasifikasian tingkat kemiskinan daerah-daerah yang ada di
Indonesia baik provinsi maupun kabupaten/kota.
Pulau Sumatera dipilih sebagai objek penelitian dalam kajian kasus karena
berdasarkan data indikator kesejahteraan daerah 2010 TNP2K, dari 10 provinsi
dengan tingkat kemiskinan tertingi di Indonesia. Tiga di antaranya adalah provinsi
di pulau Sumatera, yaitu Aceh, Lampung, dan Bengkulu. Tujuh provinsi lainnya
merupakan daerah Indonesia bagian timur, yaitu Papua, Papua Barat, Maluku,
Gorontalo, NTT, NTB, dan Sulawesi Tengah. Pulau Sumatera adalah pulau yang
relatif dekat dengan pulau Jawa yang merupakan letak pusat pemerintahan
Indonesia, tetapi tiga di antaranya masih termasuk 10 provinsi paling miskin di
Indonesia.
2
Tujuan Penelitian
Tujuan penulisan dalam penelitian ini adalah membandingkan vertex
discriminant analysis (VDA) dengan quadratic discriminant analysis (QDA) pada
data n < p dan n > p, dengan n adalah jumlah observasi dan p adalah jumlah
peubah.
2 TINJAUAN PUSTAKA
Analisis Diskriminan
Analisis diskriminan adalah teknik peubah ganda yang berhubungan dengan
pemisahan sekelompok objek (observasi) dan penempatan objek (observasi) ke
dalam kelompok yang telah ditentukan terlebih dahulu (Johnson & Wichern
2007). Pada analisis diskriminan pengelompokan dan identifikasi sifat khas suatu
kelompok dapat dilakukan sekaligus. Model dasar analisis diskriminan adalah
sebuah persamaan yang menunjukkan suatu kombinasi linier dari berbagai peubah
penjelas, yaitu :
(1)
= 0 + 1 1 + 2 2 +⋯+
dengan :
= skor diskriminan
= koefisien diskriminan atau bobot ke-i
= predictor atau peubah penjelas ke-i
Koefisien yang diduga adalah b sehingga nilai
setiap kelas sedapat mungkin
berbeda. Berdasarkan nilai
itulah keanggotaan sebuah observasi diprediksi.
(Mattjik & Sumertajaya 2011)
Analisis Diskriminan Linier dan Non-linier
Kelinieran pada analisis diskriminan ditentukan oleh matriks ragamperagamnya (∑). Jika matriks ragam-peragam antarkelas sama, maka dapat
dikatakan analisis diskriminan linier, dan sebaliknya disebut analisis diskriminan
non-linier. Untuk menguji kesamaan matriks ragam-peragam antarkelas
digunakan statistik uji Box’s berikut:
�
(2)
−2 ln �∗ =
− ln
−∑
− 1 ln
−
dengan:
�∗
k
=
�
−
−1
2
−
2
= banyaknya kelas
= jumlah semua observasi
= jumlah observasi pada kelas ke-j, dengan j=1,2,...,k
�
−
= matriks ragam-peragam dalam kelas gabungan
= matriks ragam-peragam kelas ke-j.
Bila matriks ragam-peragam sama, maka −2 ln �∗
akan mengikuti sebaran F
dengan derajat bebas 1 dan 2 pada taraf nyata α, dimana:
3
= 1 2
−1 � �+1
2
=
+
2
2
1
2− 1
= 1 1− 1− 1
2
1
1
2
=
=
2� 2 +3�−1
−1 �+1
6
�−1 �+2
6
−1
∑
∑
1
−1
1
−1
2
−
−
1
−
1
−
2
p = jumlah peubah pembeda dalam fungsi diskriminan
Oleh karena itu apabila −2 ln �∗
atau
− > � maka
1 . 2 .�
dapat disimpulkan bahwa semua kelas mempunyai matriks ragam-peragam yang
sama atau dapat dianalisa dengan analisis diskriminan linier. (Mattjik &
Sumertajaya 2011)
Quadratic Discriminant Analysis (QDA)
Analisis dikskriminan dengan pendekatan Fisher untuk data normal
multivariat dan matriks ragam-peragam tidak sama adalah analisis diskriminan
kuadratik atau quadratic discriminant analysis (QDA). Menurut Johnson &
Wichern (2007), untuk dua kelas (k=2), himpunan dari kemungkinan semua hasil
pada contoh dibagi menjadi dua wilayah, 1 dan 2 . Misalkan 1 � dan 2 �
fungsi kepekatan peluang dari � × 1 vektor peubah acak X untuk populasi �1 dan
�2 . 1 adalah serangkaian nilai x untuk objek yang kita klasifikasikan sebagai
�1 sehingga 2 = � − 1 , dengan Ω adalah ruang contoh yang berisi kumpulan
dari semua observasi yang mungkin dari x. Jika rasio harga kesalahan klasifikasi
tidak ditentukan, maka rasio tersebut diambil bernilai satu. Daerah klasifikasinya
menjadi
1:
1
�
2 �
didefinisikan sebagai:
�2
�1
dan
2:
1
�
2 �
�
< � 2 . Skor diskriminan kuadratik
1
1
1
(3)
� − � ′∑− � − � − ln ∑
2
2
Karena � dan ∑ tidak diketahui, sehingga dicari estimasi dari contohnya. Jadi,
estimasi dari skor diskriminan kuadratik dapat menjadi:
1
1
(4)
� = ln � − � − � ′ −1 � − � − ln
2
2
Maka, taksiran pengelompokannya adalah mengalokasikan � ke dalam �2 jika
skor diskriminan kuadratiknya:
(5)
1 � < 2 �
Untuk mengestimasi probabilitas anggota � pada persamaan (4), dapat digunakan
dua pendekatan yang umum. Yang pertama � diasumsikan sama dari semua
� = ln � −
populasi, maka � =
1
untuk setiap . Kedua, � diestimasi sebagai frekuensi
relatif dari observasi pada setiap kelas, sehingga � = . (Hubert & Driessen
2004)
Jika jumlah kelas lebih dari dua, maka pembentukan fungsi diskriminan
kuadratik menggunakan persamaan
1
1
� = ln � − 2 � − � ′� −1 � − � − 2 ln � , j =1,2,...,k (6)
4
dengan � = rataan populasi kelas ke-j, j = 1,2,...,k ,
1
� = peluang prior, apabila nilainya tidak diketahui maka � = ,
� = matriks ragam-peragam kelas ke-j.
Karena � dan � tidak diketahui, sehingga dapat menggunakan estimasi dari
contohnya. Jadi, estimasi dari skor diskriminan kuadratik dapat menjadi
1
1
� = ln � − � − � ′ −1 � − � − ln
� =
(7)
2
2
dengan � = estimasi dari rataan kelas ke-j, j = 1,2,...,k ,
= estimasi dari ragam-peragam kelas ke-j.
Maka, pendugaan pengelompokannya dengan menentukan kelas mana yang
memiliki skor maksimum seperti persamaan (8) berikut:
� = maks
1
� ,
2
� , …,
� .
(8)
Vertex Discriminant Analysis (VDA)
Salah satu pengembangan metode dari analisis diskriminan adalah vertex
discriminant analysis (VDA). Dalam masalah ruang berdimensi tinggi (high
dimensional) atau jumlah peubah lebih banyak dari jumlah observasi, kelemahan
yang mungkin terjadi adalah overfitting. Meskipun demikian, hal tersebut dapat
ditangani dengan baik melalui pengaturan pendugaan koefisien regresi dengan
menambahkan syarat penalti yang menyusutkan pendugaan mendekati nilai
aslinya. Jumlah penyusutan dapat dikalibrasi dengan validasi silang (crossvalidation). (Wu & Lange 2008)
Vertex pada Ruang −
Pemilihan indikator kelas dilakukan dengan membentuk equidistant points
−1
(titik-titik dengan jarak yang sama) pada ruang
, dimana adalah jumlah
kelompok/kelas. Jumlah equidistant points yang harus ditemukan sebanyak
kelas. Equidistant points tersebut untuk selanjutnya dinamakan dengan vertex.
Menurut Wu & Lange (2008), suatu cara yang mungkin untuk
mengkontruksi vertex tersebut dengan menggunakan formula berikut:
1
=
dengan :
untuk j = 1
− 1 −2 ,
untuk 2 j
+ d�j−1 ,
matriks 1 berukuran (1x )
=−
1+
3
−1 2
,
=
−1
k
(9)
, j = 1. 2. .... k
= vektor koordinat ke-j dalam −1
Sebagai ilustrasi, jika jumlah ada tiga kelas, maka tiga titik yang terbentuk pada
2
, adalah 1 = 0.707, 0.707 ; 2 = 0.25, −0.966 ; 3 = (−0.966, 0.259)
dan dapat digambarkan sebagai berikut:
5
Gambar 1 Penentuan indikator vertex untuk tiga kelas
Meminimumkan Fungsi Kerugian (Loss Function)
Fungsi tujuan merupakan nilai harapan dari fungsi kerugian (loss function).
Fungsi kerugian yang digunakan pada VDA adalah kerugian ϵ-insensitif.
Kerugian ϵ-insensitif pada regresi diformulakan menjadi:
(10)
L , = y−
− ∈
dengan
−∈ ,0 (Vapnik 1995; Hastie et al. 2001).
∈ =
Kerugian ϵ-insensitif lebih resisten terhadap pencilan dibandingkan dengan
squared error loss (Liu et al 2005). Pengklasifikasian dilakukan dengan memilih
jarak terdekat antara penduga linier dengan indikator kelas yang mungkin.
Kerugian ϵ-insensitif baik digunakan pada dimensi tinggi.
Agar nilai dugaan dapat mendekati nilai populasi, maka fungsi kerugian
diminimumkan. Misalkan Y menunjukkan indikator kelas dan X menunjukkan
vektor peubah penciri dari observasi acak. Vektor Y bertepatan dengan salah satu
simpul (vertex) tersebut. Diketahui fungsi kerugian (loss function) L(y,x), analisis
diskriminan berusaha untuk meminimumkan nilai harapan kerugian sebagai
berikut:
� ,
=
� , | .
Untuk meminimalkan kerugian dapat dilakukan diferensiasi/turunan. Tetapi
fungsi kerugian ϵ-insensitif tidak dapat diturunkan. Hal ini sulit dilakukan,
sehingga untuk pendugaan parameter dilakukan dengan cara meminimumkan ratarata kerugian bersyarat −1 × ∑ =1 � ,
dengan menambahkan batas penalti.
Fungsi Tujuan pada VDA
VDA linier mengasumsikan model regresi linier ( ) = � + , dengan
�=
adalah matriks koefisien kemiringan berukuran ( − 1) × �, dan
=
adalah vektor kolom dari intersep yang berukuran ( − 1) × 1. Fungsi
diskriminan VDA adalah:
(11)
� � = �� + .
Overfitting dapat dihindari dengan menerapkan penalti pada slope
tetapi
bukan pada intersep .
Setelah dilakukan identifikasi terhadap kelas indikator dengan vertex, fungsi
tujuan (fungsi kerugian yang dinormalisasi) terdiri dari fungsi kerugian dan
penalti, didefinisikan sebagai berikut:
6
� =
1
=1 =1
�()−�
−
∈
+�
−1
2
(12)
=1
θ
= (�, )
� ( ) = penempatan titik vertex ke-j untuk observasi ke-i
= baris ke-j dari matriks koefisien regresi A yang berukuran
( − 1) × �
b
= vektor kolom intersep berukuran ( − 1) × 1
−∈ ,0 adalah ϵ-insensitif jarak Euclid
∈ =
Fungsi kerugian ϵ-insensitif jarak Euclid dapat didefinisikan sebagai
berikut:
0
, jika
� maupun < �. Sehingga
pada penelitian ini dapat digunakan untuk menganalisis data kabupaten/kota dan
juga data provinsi. Sebagai pembanding, data kabupaten/kota dianalisis dengan
metode VDA menggunakan program R. Pada keluaran program R dihasilkan
dugaan koefisien (estimated coefficients), sehingga dapat dibentuk fungsi
diskriminan vertex Axi -b sebagai berikut:
1
2
= −0.016
− 0.032 2 − 0.077 3 + 0.081 4 + 0.198 5 + 0.025 6 − 0.066
− 0.049 8 − 0.068 9 + 0.027 10 + 0.046 11 − 0.003 12
− 0.061 13 − 0.040 14 − 0.028 15 − 0.008 16 − 0.075 17
− 0.060 18 − 0.083 19 + 0.130
= −0.075 1 + 0.005 2 − 0.025 4 − 0.022 5 − 0.008 6 − 0.024 7
+ 0.009 8 − 0.003 9 − 0.009 10 + 0.038 11 − 0.013 12
− 0.022 13 + 0.003 14 + 0.008 15 − 0.010 16 − 0.054 17
+ 0.036 18 + 0.022 19 − 0.063
1
7
Hasil prediksi kelas setiap kabupaten/kota juga sudah ditampilkan pada
keluaran, sehingga dapat dibandingkan dengan kelas sebenarnya untuk
menghitung ketepatan klasifikasi pada data training, karena kebaikan model
diskriminan dapat dilihat dari ketepatan klasifikasi masing-masing kelas. Semakin
besar jumlah klasifikasi yang sama antara kelas prediksi dengan kelas sebenarnya
atau semakin kecil persentase kesalahan klasifikasi, maka model diskriminan
tersebut semakin baik. Ketepatan klasifikasi VDA pada data training sebesar
74.4%, dengan rinciannya pada tabel 7 berikut.
Tabel 7 Ketepatan klasifikasi VDA pada data training kabupaten/kota
Kelas sebenarnya
1
2
3
1
20
3
3
Kelas prediksi
2
8
39
9
3
4
4
31
Berdasarkan fungsi diskriminan yang dihasilkan VDA, selanjutnya dapat
dilakukan prediksi klasifikasi untuk data testing. Kemudian dapat dibandingkan
dengan klasifikasi sebenarnya untuk menghitung besarnya ketepatan klasifikasi.
Pada Tabel 8 dapat dilihat rincian ketepatan klasifikasi setiap kelas pada data
testing, sehingga dapat dihitung besar ketepatan klasifikasi 0.6667 atau 66.67%.
Tabel 8 Ketepatan klasifikasi VDA pada data testing kabupaten/kota
Kelas sebenarnya
1
2
3
1
5
2
0
Kelas prediksi
2
3
5
2
3
1
2
10
18
VDA pada Data Kabupaten dengan Penambahan Komponen Kuadratik
Pada proses analisis diskriminan kuadratik (QDA) terjadi pembentukan
komponen kuadratik, sedangkan pada VDA tidak. Agar pembandingan lebih adil,
maka dilakukan penambahan komponen kuadratik pada data yang akan dianalisa
dengan VDA. Komponen kuadratik merupakan kuadrat dari peubah X1 sampai
dengan X19 yang sebelumnya distandarisasi, sehingga pada data ini ada 38
peubah.
Berdasarkan dugaan koefisien (estimated coefficients), fungsi diskriminan
vertex yang terbentuk sebagai berikut:
1
2
= −0.032
− 0.020 2 − 0.110 3 + 0.164 4 + 0.069 5 + 0.073 6 − 0.048 7
− 0.020 8 − 0.012 9 − 0.061 10 + 0.005 11 + 0.045 12 − 0.124 13
− 0.127 14 + 0.152 15 − 0.019 16 − 0.008 17 + 0.003 18
− 0.146 19 + 0.053 20 − 0.002 21 + 0.074 22 − 0.111 23
+ 0.110 24 − 0.076 25 + 0.003 26 − 0.015 27 − 0.051 28
+ 0.064 29 + 0.026 30 − 0.024 31 + 0.093 32 + 0.104 33
− 0.190 34 + 0.014 35 − 0.020 36 − 0.055 37 + 0.081 38 + 0.033
= −0.066 1 + 0.003 2 + 0.133 3 + 0.029 4 − 0.011 5 −
DAN QUADRATIC DISCRIMINANT ANALYSIS (QDA)
(Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)
HELGA KURNIA
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
PERNYATAAN MENGENAI TESIS DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa tesis berjudul Perbandingan Vertex
Discriminant Analysis (VDA) dan Quadratic Discriminant Analysis (QDA) (Studi
Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di Pulau Sumatera
Berdasarkan Tingkat Kemiskinan) adalah benar karya saya dengan arahan dari
komisi pembimbing dan belum diajukan dalam bentuk apapun kepada perguruan
tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang
diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks
dan dicantumkan dalam Daftar Pustaka di bagian akhir tesis ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut
Pertanian Bogor.
Bogor, Agustus 2015
Helga Kurnia
NIM G151120211
RINGKASAN
HELGA KURNIA. Perbandingan Vertex Discriminant Analysis (VDA) dan
Quadratic Discriminant Analysis (QDA) (Studi Kasus Pengklasifikasian Provinsi
dan Kabupaten/Kota di Pulau Sumatera Berdasarkan Tingkat Kemiskinan).
Dibimbing oleh I MADE SUMERTAJAYA dan FARIT M. AFENDI.
Analisis diskriminan merupakan suatu analisis pada data peubah ganda
yang digunakan untuk mengklasifikasikan setiap observasi ke dalam kelas yang
saling bebas berdasarkan peubah-peubah pencirinya. Analisis diskriminan yang
sering digunakan adalah Linear Discriminant Analysis (LDA) dengan pendekatan
Fisher. Pembentukan fungsi diskriminan pada LDA melibatkan komponen
matriks kovarian bersama. Struktur matriks kovarian antarkelas harus sama
sehingga dapat digabungkan membentuk matriks kovarian bersama. Apabila
matriks kovarian antarkelas berbeda, penggunaan LDA menjadi tidak valid.
Quadratic Discriminant Analysis (QDA) dapat mengatasi masalah ini. Pada saat
jumlah peubah lebih banyak daripada observasi (n < p), LDA dan QDA tidak
dapat dilakukan karena rank dari matriks lebih kecil dari jumlah peubah. Hal ini
mengakibatkan matriks kovarian singular, sehingga tidak memiliki invers. Hal
tersebut dapat diatasi dengan Vertex Discriminant Analysis (VDA). Oleh karena
itu, pada penelitian ini dilakukan perbandingan antara VDA dan QDA dengan
menggunakan data simulasi dan data kasus terapan. Pada data dengan jumlah
observasi lebih besar dari jumlah peubah (n > p), secara umum kemampuan
klasifikasi VDA dan QDA hampir sama. Akan tetapi, VDA memiliki ketepatan
klasifikasi lebih kecil dibandingkan QDA pada saat keragaman antarkelas besar
dan jarak nilai tengah antarkelas dekat. Pada data dengan jumlah observasi lebih
kecil dari jumlah peubah (n < p), hanya VDA yang dapat dilakukan. Hasil kajian
terapan sesuai dengan hasil kajian simulasi.
Kata kunci : analisis diskriminan kuadratik, analisis peubah ganda, vertex
discriminant analysis
SUMMARY
HELGA KURNIA. Comparison of Vertex Discriminant Analysis (VDA) and
Quadratic Discriminant Analysis (QDA) (Case Study of Province and City
Clasification in Sumatera Based on Poverty Level). Supervised by I MADE
SUMERTAJAYA and FARIT M. AFENDI.
Discriminant analysis is one of the multivariate analysis concerned with
separating distinct sets of observations and with allocating new observations to
previously defined groups based on its feature variables. One of the discriminant
analysis that frequently used is Fisher linear discriminant analysis (LDA). The
development of discriminant function on LDA involve the pooled covariance
matrix component. Structure of covariance matrix each classes have to similar in
order to be able to be merged as pooled covariance matrix. When the structure of
covariance matrix each classes are different, LDA will be invalid. Alternatively
quadratic discriminant analysis (QDA) will be the solution of this. However,
when the number of variables is more than number of observations (n < p) both
LDA & QDA could not be executed due to rank of matrix lower than number of
variables, thus covariance matrix become singular and have no invers. To solve
the issue, we can use vertex discriminant analysis (VDA). In this research, we are
comparing the VDA and QDA using simulated and case study data. When the
number of observations more than number of variables (n > p), in overall the
VDA and QDA performance are relatively similar. However the VDA
classification accuracy lower than QDA when interclass variance is big and
interclass means are near. When the number of observation less than number of
variables (n < p), only VDA can be executed. Case study data shows the same
results as simulated data.
Keywords : quadratic discriminant analysis, multivariate analysis, vertex
discriminant analysis
© Hak Cipta Milik IPB. Tahun 2015
Hak Cipta Dilindungi Undang-Undang
Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan
atau menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan,
penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau
tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan
IPB
Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini
dalam bentuk apa pun tanpa izin IPB
PERBANDINGAN VERTEX DISCRIMINANT ANALYSIS (VDA)
DAN QUADRATIC DISCRIMINANT ANALYSIS (QDA)
(Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)
HELGA KURNIA
Tesis
sebagai salah satu syarat untuk memperoleh gelar
Magister Sains pada
Program Studi Statistika
SEKOLAH PASCASARJANA
INSTITUT PERTANIAN BOGOR
BOGOR
2015
Penguji pada Ujian Tesis:
Dr. Bagus Sartono, M.Si., S.Si
Judul Tesis
Nama
NIM
: Perbandingan Vertex Discriminant Analysis (VDA) dan
Quadratic Discriminant Analysis (QDA)
(Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)
: Helga Kurnia
: G151120211
Disetujui oleh
Komisi Pembimbing
Dr Ir I Made Sumertajaya, MSi
Ketua
Dr Farit M Afendi, SSi MSi
Anggota
Diketahui oleh
Ketua Program Studi
Statistika
Dekan Sekolah Pascasarjana
Dr Ir Kusman Sadik, MSi
Dr Ir Dahrul Syah, MScAgr
Tanggal Ujian: 19 Agustus 2015
Tanggal Lulus: 07/10/2015
PRAKATA
Puji dan syukur penulis ucapkan kehadirat Allah subhanahu wa ta’ala atas
segala karunia-Nya sehingga penulis dapat menyelesaikan tesis yang berjudul
“Perbandingan Vertex Discriminant Analysis (VDA) dan Quadratic Discriminant
Analysis (QDA) (Studi Kasus Pengklasifikasian Provinsi dan Kabupaten/Kota di
Pulau Sumatera Berdasarkan Tingkat Kemiskinan)”. Keberhasilan penulisan tesis
ini tidak lepas dari bantuan, bimbingan, dan petunjuk dari berbagai pihak.
Terima kasih penulis ucapkan kepada Bapak Dr Ir I Made Sumertajaya,
M.Si dan Bapak Dr Farit M. Afendi, S.Si., M.Si selaku pembimbing yang telah
banyak memberi bimbingan, arahan, serta saran kepada penulis. Terimakasih juga
kepada Kementerian Pendidikan dan Kebudayaan yang telah memberikan penulis
Beasiswa Unggulan untuk staf dan telah memberikan tugas belajar kepada
penulis. Ungkapan terima kasih terkhusus penulis sampaikan kepada suami, orang
tua, anak-anak, seluruh keluarga, dosen-dosen, dan teman-teman atas do’a,
dukungan, dan kasih sayangnya. Terima kasih pula kepada seluruh staf Program
Studi Statistika dan rekan-rekan di Pusat Kurikulum dan Perbukuan Balitbang
Kementerian Pendidikan dan Kebudayaan atas bantuan, dukungan, dan
kebersamaannya.
Semoga tesis ini bermanfaat serta dapat menambah wawasan bagi para
pembaca. Kritikan yang membangun sangat penulis harapkan demi perbaikan
tesis ini dimasa yang akan datang.
Bogor, Agustus 2015
Helga Kurnia
DAFTAR ISI
DAFTAR TABEL
DAFTAR GAMBAR
DAFTAR LAMPIRAN
1 PENDAHULUAN
Latar Belakang
Tujuan Penelitian
2 TINJAUAN PUSTAKA
Analisis Diskriminan
Analisis Diskriminan Linier dan Non-linier
Quadratic Discriminant Analysis (QDA)
Vertex Discriminant Analysis (VDA)
Vertex pada Ruang −1
Meminimumkan Fungsi Kerugian (Loss Function)
Fungsi Tujuan pada VDA
Algoritma MM (Majorize-Minimize) pada VDA
Mayorisasi dari Jarak ϵ-insensitif dan Fungsi Tujuan
Algoritma VDA
3 DATA DAN METODE
Data
Data Simulasi
Data Kasus Terapan
Metode Analisis
4 HASIL DAN PEMBAHASAN
Kajian Simulasi
Kajian Kasus Terapan
Deskripsi Data
Hasil Uji Box’s
Hasil Analisis Diskriminan Kuadratik (QDA)
VDA pada Data Kabupaten
VDA pada Data Kabupaten dengan Penambahan Komponen Kuadratik
VDA pada Data Provinsi
VDA pada Data Provinsi dengan Penambahan Komponen Kuadratik
Perbandingan Ketepatan Klasifikasi antara QDA dan VDA
5 SIMPULAN DAN SARAN
Simpulan
Saran
DAFTAR PUSTAKA
vi
vi
vi
1
1
2
2
2
2
3
4
4
5
5
6
6
7
7
7
8
9
9
11
11
13
13
16
16
17
18
19
19
21
22
21
21
23
LAMPIRAN
25
RIWAYAT HIDUP
33
DAFTAR TABEL
1 Skenario simulasi
2 Perbandingan rataan ketepatan klasifikasi antara VDA dan QDA
3 Jumlah kabupaten/kota setiap kelas dan karakteristik masing-masing
kelas
4 Jumlah provinsi setiap kelas dan karakteristik masing-masing kelas
5 Ketepatan klasifikasi pada data training kabupaten/kota
6 Ketepatan klasifikasi QDA pada data testing kabupaten/kota
7 Ketepatan klasifikasi VDA pada data training kabupaten/kota
8 Ketepatan klasifikasi VDA pada data testing kabupaten/kota
9 Ketepatan klasifikasi VDA pada data training kabupaten/kota dengan
penambahan komponen kuadratik
10 Ketepatan klasifikasi VDA pada data testing kabupaten/kota dengan
penambahan komponen kuadratik
11 Ketepatan klasifikasi VDA pada data testing provinsi 20%
12 Ketepatan klasifikasi VDA pada data testing provinsi 40%
13 Ketepatan klasifikasi VDA pada data testing provinsi 50%
14 Ketepatan klasifikasi VDA pada data testing provinsi 20% dengan
penambahan komponen kuadratik
15 Ketepatan klasifikasi VDA pada data testing provinsi 40% dengan
penambahan komponen kuadratik
16 Ketepatan klasifikasi VDA pada data testing provinsi 50% dengan
penambahan komponen kuadratik
17 Perbandingan ketepatan klasifikasi antara QDA, VDA, dan VDA
dengan penambahan komponen kuadratik pada data kabupaten/kota
18 Perbandingan ketepatan klasifikasi antara QDA, VDA, dan VDA
dengan penambahan komponen kuadratik pada data provinsi
8
11
14
15
16
16
17
17
18
18
19
19
19
21
21
21
22
22
DAFTAR GAMBAR
1
2
3
4
Penentuan indikator vertex untuk tiga kelas
Boxplot ketepatan klasifikasi data simulasi
Perbandingan persentase kebaikan klasifikasi antara QDA dan VDA
dari 100 kali ulangan data simulasi
Histogram tingkat kemiskinan kabupaten/kota di Sumatera
5
12
12
13
DAFTAR LAMPIRAN
1
2
3
4
5
Daftar kabupaten/kota di Sumatera dan klasifikasinya
Daftar provinsi di Sumatera dan klasifikasi berdasarkan tingkat kemiskinan
Rataan peubah-peubah di setiap kelas pada data kabupaten/kota
Rataan peubah-peubah di setiap kelas pada data provinsi
Matriks jarak antar-provinsi
25
29
30
31
32
1
1 PENDAHULUAN
Latar Belakang
Analisis diskriminan merupakan suatu analisis pada data peubah ganda yang
digunakan untuk mengklasifikasikan setiap observasi ke dalam kelas yang saling
bebas berdasarkan peubah-peubah pencirinya. Analisis diskriminan sampai saat
ini masih mengalami perkembangan secara aktif. Analisis diskriminan yang sering
digunakan adalah linear discriminant analysis (LDA) dengan pendekatan Fisher.
Pembentukan fungsi diskriminan pada LDA melibatkan komponen matriks
kovarian bersama. Matriks kovarian bersama dapat dibentuk jika struktur matriks
kovarian antarkelas sama sehingga dapat digabungkan. Bila matriks kovarian
antarkelas berbeda penggunaan LDA menjadi tidak valid. quadratic discriminant
analysis (QDA) dapat mengatasi masalah ini. Pada saat jumlah peubah lebih
banyak daripada observasinya (n < p). LDA dan QDA tidak dapat dilakukan
karena rank dari matriks lebih kecil dari jumlah peubah, mengakibatkan matriks
kovarian singular, sehingga tidak memiliki invers. Menurut Wu & Lange (2008)
hal tersebut dapat diatasi dengan vertex discriminant analysis (VDA). Pada
penelitian ini akan dilakukan perbandingan antara VDA dan QDA, sementara
penelitian tentang perbandingan antara VDA dan LDA sudah dilakukan oleh
Nurmaleni (2015).
Kajian kasus pada penelitian ini menggunakan data tentang kemiskinan di
pulau Sumatera yang dipublikasikan oleh Tim Nasional Percepatan
Penanggulangan Kemiskinan (TNP2K) pada website www.tnp2k.go.id. Data ini
diambil berdasarkan pertimbangan bahwa kemiskinan merupakan permasalahan
bangsa. Pemerintah telah melaksanakan penanggulangan kemiskinan melalui
berbagai program baik di tingkat pusat maupun di daerah. Program pemerintah
dalam penanggulangan kemiskinan di daerah diharapkan dapat berjalan optimal
dan lebih bermanfaat jika ada kebijakan yang berbeda antardaerah. Perbedaan
kebijakan tersebut disesuaikan dengan tinggi rendahnya tingkat kemiskinan
daerah dan kebutuhan daerah yang bersangkutan. Oleh karena itu, dibutuhkan
identifikasi pengklasifikasian tingkat kemiskinan daerah-daerah yang ada di
Indonesia baik provinsi maupun kabupaten/kota.
Pulau Sumatera dipilih sebagai objek penelitian dalam kajian kasus karena
berdasarkan data indikator kesejahteraan daerah 2010 TNP2K, dari 10 provinsi
dengan tingkat kemiskinan tertingi di Indonesia. Tiga di antaranya adalah provinsi
di pulau Sumatera, yaitu Aceh, Lampung, dan Bengkulu. Tujuh provinsi lainnya
merupakan daerah Indonesia bagian timur, yaitu Papua, Papua Barat, Maluku,
Gorontalo, NTT, NTB, dan Sulawesi Tengah. Pulau Sumatera adalah pulau yang
relatif dekat dengan pulau Jawa yang merupakan letak pusat pemerintahan
Indonesia, tetapi tiga di antaranya masih termasuk 10 provinsi paling miskin di
Indonesia.
2
Tujuan Penelitian
Tujuan penulisan dalam penelitian ini adalah membandingkan vertex
discriminant analysis (VDA) dengan quadratic discriminant analysis (QDA) pada
data n < p dan n > p, dengan n adalah jumlah observasi dan p adalah jumlah
peubah.
2 TINJAUAN PUSTAKA
Analisis Diskriminan
Analisis diskriminan adalah teknik peubah ganda yang berhubungan dengan
pemisahan sekelompok objek (observasi) dan penempatan objek (observasi) ke
dalam kelompok yang telah ditentukan terlebih dahulu (Johnson & Wichern
2007). Pada analisis diskriminan pengelompokan dan identifikasi sifat khas suatu
kelompok dapat dilakukan sekaligus. Model dasar analisis diskriminan adalah
sebuah persamaan yang menunjukkan suatu kombinasi linier dari berbagai peubah
penjelas, yaitu :
(1)
= 0 + 1 1 + 2 2 +⋯+
dengan :
= skor diskriminan
= koefisien diskriminan atau bobot ke-i
= predictor atau peubah penjelas ke-i
Koefisien yang diduga adalah b sehingga nilai
setiap kelas sedapat mungkin
berbeda. Berdasarkan nilai
itulah keanggotaan sebuah observasi diprediksi.
(Mattjik & Sumertajaya 2011)
Analisis Diskriminan Linier dan Non-linier
Kelinieran pada analisis diskriminan ditentukan oleh matriks ragamperagamnya (∑). Jika matriks ragam-peragam antarkelas sama, maka dapat
dikatakan analisis diskriminan linier, dan sebaliknya disebut analisis diskriminan
non-linier. Untuk menguji kesamaan matriks ragam-peragam antarkelas
digunakan statistik uji Box’s berikut:
�
(2)
−2 ln �∗ =
− ln
−∑
− 1 ln
−
dengan:
�∗
k
=
�
−
−1
2
−
2
= banyaknya kelas
= jumlah semua observasi
= jumlah observasi pada kelas ke-j, dengan j=1,2,...,k
�
−
= matriks ragam-peragam dalam kelas gabungan
= matriks ragam-peragam kelas ke-j.
Bila matriks ragam-peragam sama, maka −2 ln �∗
akan mengikuti sebaran F
dengan derajat bebas 1 dan 2 pada taraf nyata α, dimana:
3
= 1 2
−1 � �+1
2
=
+
2
2
1
2− 1
= 1 1− 1− 1
2
1
1
2
=
=
2� 2 +3�−1
−1 �+1
6
�−1 �+2
6
−1
∑
∑
1
−1
1
−1
2
−
−
1
−
1
−
2
p = jumlah peubah pembeda dalam fungsi diskriminan
Oleh karena itu apabila −2 ln �∗
atau
− > � maka
1 . 2 .�
dapat disimpulkan bahwa semua kelas mempunyai matriks ragam-peragam yang
sama atau dapat dianalisa dengan analisis diskriminan linier. (Mattjik &
Sumertajaya 2011)
Quadratic Discriminant Analysis (QDA)
Analisis dikskriminan dengan pendekatan Fisher untuk data normal
multivariat dan matriks ragam-peragam tidak sama adalah analisis diskriminan
kuadratik atau quadratic discriminant analysis (QDA). Menurut Johnson &
Wichern (2007), untuk dua kelas (k=2), himpunan dari kemungkinan semua hasil
pada contoh dibagi menjadi dua wilayah, 1 dan 2 . Misalkan 1 � dan 2 �
fungsi kepekatan peluang dari � × 1 vektor peubah acak X untuk populasi �1 dan
�2 . 1 adalah serangkaian nilai x untuk objek yang kita klasifikasikan sebagai
�1 sehingga 2 = � − 1 , dengan Ω adalah ruang contoh yang berisi kumpulan
dari semua observasi yang mungkin dari x. Jika rasio harga kesalahan klasifikasi
tidak ditentukan, maka rasio tersebut diambil bernilai satu. Daerah klasifikasinya
menjadi
1:
1
�
2 �
didefinisikan sebagai:
�2
�1
dan
2:
1
�
2 �
�
< � 2 . Skor diskriminan kuadratik
1
1
1
(3)
� − � ′∑− � − � − ln ∑
2
2
Karena � dan ∑ tidak diketahui, sehingga dicari estimasi dari contohnya. Jadi,
estimasi dari skor diskriminan kuadratik dapat menjadi:
1
1
(4)
� = ln � − � − � ′ −1 � − � − ln
2
2
Maka, taksiran pengelompokannya adalah mengalokasikan � ke dalam �2 jika
skor diskriminan kuadratiknya:
(5)
1 � < 2 �
Untuk mengestimasi probabilitas anggota � pada persamaan (4), dapat digunakan
dua pendekatan yang umum. Yang pertama � diasumsikan sama dari semua
� = ln � −
populasi, maka � =
1
untuk setiap . Kedua, � diestimasi sebagai frekuensi
relatif dari observasi pada setiap kelas, sehingga � = . (Hubert & Driessen
2004)
Jika jumlah kelas lebih dari dua, maka pembentukan fungsi diskriminan
kuadratik menggunakan persamaan
1
1
� = ln � − 2 � − � ′� −1 � − � − 2 ln � , j =1,2,...,k (6)
4
dengan � = rataan populasi kelas ke-j, j = 1,2,...,k ,
1
� = peluang prior, apabila nilainya tidak diketahui maka � = ,
� = matriks ragam-peragam kelas ke-j.
Karena � dan � tidak diketahui, sehingga dapat menggunakan estimasi dari
contohnya. Jadi, estimasi dari skor diskriminan kuadratik dapat menjadi
1
1
� = ln � − � − � ′ −1 � − � − ln
� =
(7)
2
2
dengan � = estimasi dari rataan kelas ke-j, j = 1,2,...,k ,
= estimasi dari ragam-peragam kelas ke-j.
Maka, pendugaan pengelompokannya dengan menentukan kelas mana yang
memiliki skor maksimum seperti persamaan (8) berikut:
� = maks
1
� ,
2
� , …,
� .
(8)
Vertex Discriminant Analysis (VDA)
Salah satu pengembangan metode dari analisis diskriminan adalah vertex
discriminant analysis (VDA). Dalam masalah ruang berdimensi tinggi (high
dimensional) atau jumlah peubah lebih banyak dari jumlah observasi, kelemahan
yang mungkin terjadi adalah overfitting. Meskipun demikian, hal tersebut dapat
ditangani dengan baik melalui pengaturan pendugaan koefisien regresi dengan
menambahkan syarat penalti yang menyusutkan pendugaan mendekati nilai
aslinya. Jumlah penyusutan dapat dikalibrasi dengan validasi silang (crossvalidation). (Wu & Lange 2008)
Vertex pada Ruang −
Pemilihan indikator kelas dilakukan dengan membentuk equidistant points
−1
(titik-titik dengan jarak yang sama) pada ruang
, dimana adalah jumlah
kelompok/kelas. Jumlah equidistant points yang harus ditemukan sebanyak
kelas. Equidistant points tersebut untuk selanjutnya dinamakan dengan vertex.
Menurut Wu & Lange (2008), suatu cara yang mungkin untuk
mengkontruksi vertex tersebut dengan menggunakan formula berikut:
1
=
dengan :
untuk j = 1
− 1 −2 ,
untuk 2 j
+ d�j−1 ,
matriks 1 berukuran (1x )
=−
1+
3
−1 2
,
=
−1
k
(9)
, j = 1. 2. .... k
= vektor koordinat ke-j dalam −1
Sebagai ilustrasi, jika jumlah ada tiga kelas, maka tiga titik yang terbentuk pada
2
, adalah 1 = 0.707, 0.707 ; 2 = 0.25, −0.966 ; 3 = (−0.966, 0.259)
dan dapat digambarkan sebagai berikut:
5
Gambar 1 Penentuan indikator vertex untuk tiga kelas
Meminimumkan Fungsi Kerugian (Loss Function)
Fungsi tujuan merupakan nilai harapan dari fungsi kerugian (loss function).
Fungsi kerugian yang digunakan pada VDA adalah kerugian ϵ-insensitif.
Kerugian ϵ-insensitif pada regresi diformulakan menjadi:
(10)
L , = y−
− ∈
dengan
−∈ ,0 (Vapnik 1995; Hastie et al. 2001).
∈ =
Kerugian ϵ-insensitif lebih resisten terhadap pencilan dibandingkan dengan
squared error loss (Liu et al 2005). Pengklasifikasian dilakukan dengan memilih
jarak terdekat antara penduga linier dengan indikator kelas yang mungkin.
Kerugian ϵ-insensitif baik digunakan pada dimensi tinggi.
Agar nilai dugaan dapat mendekati nilai populasi, maka fungsi kerugian
diminimumkan. Misalkan Y menunjukkan indikator kelas dan X menunjukkan
vektor peubah penciri dari observasi acak. Vektor Y bertepatan dengan salah satu
simpul (vertex) tersebut. Diketahui fungsi kerugian (loss function) L(y,x), analisis
diskriminan berusaha untuk meminimumkan nilai harapan kerugian sebagai
berikut:
� ,
=
� , | .
Untuk meminimalkan kerugian dapat dilakukan diferensiasi/turunan. Tetapi
fungsi kerugian ϵ-insensitif tidak dapat diturunkan. Hal ini sulit dilakukan,
sehingga untuk pendugaan parameter dilakukan dengan cara meminimumkan ratarata kerugian bersyarat −1 × ∑ =1 � ,
dengan menambahkan batas penalti.
Fungsi Tujuan pada VDA
VDA linier mengasumsikan model regresi linier ( ) = � + , dengan
�=
adalah matriks koefisien kemiringan berukuran ( − 1) × �, dan
=
adalah vektor kolom dari intersep yang berukuran ( − 1) × 1. Fungsi
diskriminan VDA adalah:
(11)
� � = �� + .
Overfitting dapat dihindari dengan menerapkan penalti pada slope
tetapi
bukan pada intersep .
Setelah dilakukan identifikasi terhadap kelas indikator dengan vertex, fungsi
tujuan (fungsi kerugian yang dinormalisasi) terdiri dari fungsi kerugian dan
penalti, didefinisikan sebagai berikut:
6
� =
1
=1 =1
�()−�
−
∈
+�
−1
2
(12)
=1
θ
= (�, )
� ( ) = penempatan titik vertex ke-j untuk observasi ke-i
= baris ke-j dari matriks koefisien regresi A yang berukuran
( − 1) × �
b
= vektor kolom intersep berukuran ( − 1) × 1
−∈ ,0 adalah ϵ-insensitif jarak Euclid
∈ =
Fungsi kerugian ϵ-insensitif jarak Euclid dapat didefinisikan sebagai
berikut:
0
, jika
� maupun < �. Sehingga
pada penelitian ini dapat digunakan untuk menganalisis data kabupaten/kota dan
juga data provinsi. Sebagai pembanding, data kabupaten/kota dianalisis dengan
metode VDA menggunakan program R. Pada keluaran program R dihasilkan
dugaan koefisien (estimated coefficients), sehingga dapat dibentuk fungsi
diskriminan vertex Axi -b sebagai berikut:
1
2
= −0.016
− 0.032 2 − 0.077 3 + 0.081 4 + 0.198 5 + 0.025 6 − 0.066
− 0.049 8 − 0.068 9 + 0.027 10 + 0.046 11 − 0.003 12
− 0.061 13 − 0.040 14 − 0.028 15 − 0.008 16 − 0.075 17
− 0.060 18 − 0.083 19 + 0.130
= −0.075 1 + 0.005 2 − 0.025 4 − 0.022 5 − 0.008 6 − 0.024 7
+ 0.009 8 − 0.003 9 − 0.009 10 + 0.038 11 − 0.013 12
− 0.022 13 + 0.003 14 + 0.008 15 − 0.010 16 − 0.054 17
+ 0.036 18 + 0.022 19 − 0.063
1
7
Hasil prediksi kelas setiap kabupaten/kota juga sudah ditampilkan pada
keluaran, sehingga dapat dibandingkan dengan kelas sebenarnya untuk
menghitung ketepatan klasifikasi pada data training, karena kebaikan model
diskriminan dapat dilihat dari ketepatan klasifikasi masing-masing kelas. Semakin
besar jumlah klasifikasi yang sama antara kelas prediksi dengan kelas sebenarnya
atau semakin kecil persentase kesalahan klasifikasi, maka model diskriminan
tersebut semakin baik. Ketepatan klasifikasi VDA pada data training sebesar
74.4%, dengan rinciannya pada tabel 7 berikut.
Tabel 7 Ketepatan klasifikasi VDA pada data training kabupaten/kota
Kelas sebenarnya
1
2
3
1
20
3
3
Kelas prediksi
2
8
39
9
3
4
4
31
Berdasarkan fungsi diskriminan yang dihasilkan VDA, selanjutnya dapat
dilakukan prediksi klasifikasi untuk data testing. Kemudian dapat dibandingkan
dengan klasifikasi sebenarnya untuk menghitung besarnya ketepatan klasifikasi.
Pada Tabel 8 dapat dilihat rincian ketepatan klasifikasi setiap kelas pada data
testing, sehingga dapat dihitung besar ketepatan klasifikasi 0.6667 atau 66.67%.
Tabel 8 Ketepatan klasifikasi VDA pada data testing kabupaten/kota
Kelas sebenarnya
1
2
3
1
5
2
0
Kelas prediksi
2
3
5
2
3
1
2
10
18
VDA pada Data Kabupaten dengan Penambahan Komponen Kuadratik
Pada proses analisis diskriminan kuadratik (QDA) terjadi pembentukan
komponen kuadratik, sedangkan pada VDA tidak. Agar pembandingan lebih adil,
maka dilakukan penambahan komponen kuadratik pada data yang akan dianalisa
dengan VDA. Komponen kuadratik merupakan kuadrat dari peubah X1 sampai
dengan X19 yang sebelumnya distandarisasi, sehingga pada data ini ada 38
peubah.
Berdasarkan dugaan koefisien (estimated coefficients), fungsi diskriminan
vertex yang terbentuk sebagai berikut:
1
2
= −0.032
− 0.020 2 − 0.110 3 + 0.164 4 + 0.069 5 + 0.073 6 − 0.048 7
− 0.020 8 − 0.012 9 − 0.061 10 + 0.005 11 + 0.045 12 − 0.124 13
− 0.127 14 + 0.152 15 − 0.019 16 − 0.008 17 + 0.003 18
− 0.146 19 + 0.053 20 − 0.002 21 + 0.074 22 − 0.111 23
+ 0.110 24 − 0.076 25 + 0.003 26 − 0.015 27 − 0.051 28
+ 0.064 29 + 0.026 30 − 0.024 31 + 0.093 32 + 0.104 33
− 0.190 34 + 0.014 35 − 0.020 36 − 0.055 37 + 0.081 38 + 0.033
= −0.066 1 + 0.003 2 + 0.133 3 + 0.029 4 − 0.011 5 −