Pengenalan Pola Secara Statistika Dengan Pendekatan Analisis Diskriminan Linier 2-Dimensi Simetris

(1)

2-DIMENSI SIMETRIS

SKRIPSI

RINA WIDYASARI

060803052

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

2010

(2)

2-DIMENSI SIMETRIS

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains

RINA WIDYASARI

060803052

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SUMATERA UTARA

MEDAN

2010

(3)

PERSETUJUAN

Judul : PENGENALAN POLA SECARA STATISTIKA

DENGAN PENDEKATAN ANALISIS

DISKRIMINAN LINIER 2-DIMENSI SIMETRIS

Kategori : SKRIPSI

Nama : RINA WIDYASARI

Nomor Induk Mahasiswa : 060803052

Program Studi : SARJANA (S1) MATEMATIKA

Departemen : MATEMATIKA

Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA

Medan, 21 September 2010

Komisi Pembimbing :

Pembimbing 2, Pembimbing 1,

Drs. Suwarno Ariswoyo, M.Si Dr. Sutarman, M.Sc

NIP. 19500321 198003 1 001 NIP. 19631026 199103 1 001

Diketahui oleh

Departemen Matematika FMIPA USU Ketua,

Dr. Saib Suwilo, M.Sc NIP. 19640109 198803 1 004

(4)

PERNYATAAN

PENGENALAN POLA SECARA STATISTIKA DENGAN PENDEKATAN ANALISIS DISKRIMINAN LINIER 2-DIMENSI SIMETRIS

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.

Medan, 21 September 2010

RINA WIDYASARI 060803052

(5)

PENGHARGAAN

Puji dan syukur kepada Allah SWT, karena berkat, rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan skripsi yang berjudul ”PENGENALAN POLA

SECARA STATISTIKA DENGAN PENDEKATAN ANALISIS

DISKRIMINAN LINIER 2-DIMENSI SIMETRIS” ini dengan baik.

Dalam menyelesaikan skripsi ini penulis banyak menerima bantuan dan saran dari berbagai pihak. Pada kesempatan ini, penulis mengucapkan terima kasih sebesar-besarnya kepada:

1. Bapak Dr. Sutarman, M.Sc, selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara

2. Bapak Dr. Saib Suwilo, M.Sc, Ph.D, dan Bapak Henry Rani S, M.Si selaku Ketua dan Sekretaris Departemen Matematika di FMIPA USU

3. Bapak Dr. Sutarman, M.Sc, selaku dosen pembimbing I dan Bapak Drs. Suwarno Ariswoyo, M.Si selaku dosen pembimbing II yang telah memberikan panduan, dukungan moral, motivasi dan ilmu pengetahuan bagi penulis dalam menyelesaikan penelitian ini.

4. Bapak Syahril Efendi, S.Si, M.IT selaku dosen penasehat akademik yang selalu memberikan arahan dan motivasi kepada penulis selama menjalani studi di strata satu Matematika ini.

5. Seluruh Staf Pengajar Departemen Matematika dan pegawai Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara. 6. Ayahanda Junaidi dan Ibunda Sulastri yang paling saya sayangi selama

hidup ini serta adik-adikku Irmayati, Rizky Ayu Lestari, Fajar Faturrahman dan Nabila Azzuhra yang selalu memberikan curahan do’a, kasih sayang, motivasi, semangat untuk terus menggapai cita-cita, serta dukungan moril maupun materil kepada penulis.

Penulis juga berterima kasih kepada Mas Sentot Budi Santoso atas perhatian, bantuan, motivasi yang dicurahkan kepada penulis selama ini. Terima kasih pula kepada kedua sahabat terbaik yaitu Aghní Syahmarani dan Sri Rafiqoh yang selalu setia mendukung baik selama perkuliahan, skripsi maupun hal-hal lain dalam kehidupan penulis. Begitu juga dengan Mahater Muhammad, Astria Puji Astuti, Linda Arizta, Priskilla Br. Ginting, Rion Siboro, yang saling memberikan motivasi, doa dan melakukan bimbingan secara bersamaan selama penulisan skripsi ini.

Ucapan terima kasih juga saya haturkan kepada senior di lab rasio, bang Toni, bang Andika, bang Santri, bang Radhi juga kepada bang Guruh, M. Haikal, Novi Yuanda Lubis dan mbak Suratmi, S.Kep, Ns. atas bantuannya kepada penulis selama pengerjaan tulisan ini. Teman-teman satu bidang konsentrasi Statistika ’06, teman-teman satu angkatan 2006, junior angkatan 2007, 2008 dan 2009 yang selalu memberikan semangat kepada penulis, penulis ucapkan terima kasih. Kepada alumni SMA Negeri 2 Medan XII IPA 6 2006 yang sampai saat ini masih sangat setia membina persahabatan dan saling memotivasi, dan semua teman-teman yang tidak dapat disebutkan satu per satu, penulis menyampaikan terima kasih atas bantuan, kerjasama, motivasi yang diberikan selama pengerjaan skripsi ini hingga selesai.

(6)

Penulis menyadari terdapat banyak kekurangan dalam penulisan ini. Oleh karena itu, penulis meminta saran dan kritik dari pembaca sekalian guna menyempurnakan tulisan ini.

Demikianlah yang dapat penulis sampaikan, atas perhatian, atensi dan kerjasamanya penulis ucapkan terima kasih. Semoga tulisan ini bermanfaat bagi siapa yang membutuhkan.

Medan, 21 September 2010 Penulis,

(7)

ABSTRAK

Pengenalan Pola secara Statistika (Statistical Pattern Recognition) merupakan suatu sistem yang bertujuan mengklasifikasi objek-objek ke dalam kategori-kategori atau kelas-kelas. Jika diberikan suatu matriks data A, A = {∏1, ∏2,…, ∏k}, dimana ∏i memuat ni titik data dari kelas ke –i maka pola-pola yang terdapat pada masing-masing kelas dapat diklasifikasi dan dapat dilihat jarak pemisahan antar kelas dan dalam kelas himpunan data tersebut. Pada penelitian ini digunakan Analisis Diskriminan Linier Dua-Dimensi Simetris sebagai metode pengklasifikasian yang tujuannya memaksimumkan jarak matriks sebaran antar-kelas (Sb) dan meminimumkan jarak matriks sebaran dalam-kelas (Sw), dan juga dapat mengatasi masalah keraguan yang ditimbulkan pada matriks gambar yang tidak simetris (Xi  XiT), dimana Sw dan Sbterdefinisi ganda. Penelitian ini akan memberikan suatu fungsi objektif optimum dan algoritma yang akan menghasilkan klasifikasi yang akurat dan lebih efisien.

(8)

SYMMETRIC TWO-DIMENSIONAL LINEAR DISCRIMINANT ANALYSIS IN STATISTICAL PATTERN RECOGNITION

ABSTRACT

Statistical pattern recognition is a system that aims to classify a number of objects to a number of categories or classes. Given a data matrix A, A = {∏1, ∏2,…, ∏k} where

∏i consist of ni point data of ith class then patterns in each classes can classify and separate distance of within and between-class in datasets. In this paper, Symmetric Two-Dimensional Linear Discriminant Analysis proposed to maximize the between-class scatter matrices (Sb) and minimize the within-class scatter matrices (Sw), and can solve an ambiguity problem that is for a nonsymmetric image (Xi  XiT), it appear grammatical Sw, Sb and some optimal objective functions. Under this method, classify system has the best accuray and more efficient.

(9)

DAFTAR ISI

Halaman

PERSETUJUAN i

PERNYATAAN ii

PENGHARGAAN iii

ABSTRAK v

ABSTRACT vi

DAFTAR ISI vii

DAFTAR TABEL viii

DAFTAR GAMBAR ix BAB 1. PENDAHULUAN 1 1.1 Latar Belakang 1 1.2 Perumusan Masalah 4 1.3 Tinjauan Pustaka 5 1.4 Tujuan Penelitian 9 1.5 Manfaat Penelitian 10

1.6 Metodologi Penelitian 10

2. LANDASAN TEORI 11

2.1 Pengenalan Pola Secara Statistika 11

2.1.1 Vektor Acak dan Distribusinya 12

2.1.2 Matriks Kovarians 13

2.1.3 Nilai Eigen dan Vektor Eigen 15

2.2 Analisis Diskriminan Linier (ADL) 18

2.3 Analisis Diskriminan Linier 2-Dimensi (ADL2-D) 22

2.3.1 Transformasi Bilinier 28

3. ANALISIS DISKRIMINAN LINIER 2-DIMENSI SIMETRIS (ADL2-D SIMETRIS) 29

3.1 Analisis Diskriminan Linier 2-Dimensi Simetris 29

3.2 Aplikasi Analisis Diskriminan Linier dan Analisis Diskrimi-nan Linier 2-Dimensi pada Suatu Contoh Pengenalan Pola Karakter 38

4. KESIMPULAN DAN RISET LANJUTAN 49

4.1 Kesimpulan 49

4.2 Riset Lanjutan 50

(10)

DAFTAR TABEL

Halaman Tabel 2.1 Notasi Penting dalam Analisis Diskriminan Linier 2 Dimensi 25

(11)

DAFTAR GAMBAR

Halaman Gambar 1.1 : Model pengenalan pola secara statistika 6 Gambar 2.1 : Contoh dua pengukuran pola (a) gelombang (b) huruf 12 Gambar 2.2 : Hasil Klasifikasi dengan Analisis Diskriminan Linier 20 Gambar 3.1 : Perbandingan fungsi objektif dan keakuratan klasifikasi antara

metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi

2 kelas 46

Gambar 3.2 : Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi

3 kelas 47

Gambar 3.3 : Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi

(12)

ABSTRAK

(13)

SYMMETRIC TWO-DIMENSIONAL LINEAR DISCRIMINANT ANALYSIS IN STATISTICAL PATTERN RECOGNITION

ABSTRACT

Statistical pattern recognition is a system that aims to classify a number of objects to a number of categories or classes. Given a data matrix A, A = {∏1, ∏2,…, ∏k} where

(14)

PENDAHULUAN

1.1 Latar Belakang

Pengenalan pola atau dikenal dengan sebutan pattern recognition merupakan salah satu cabang sains yang pada dasarnya adalah suatu sistem yang bertujuan mengklasifikasi objek-objek ke dalam kategori-kategori atau kelas-kelas (Theodoridis, 2003), berdasarkan baik pada apriori pengetahuan atau pada informasi statistik yang diambil dari pola. Pola-pola tersebut biasanya diklasifikasikan ke dalam kelompok pengukuran atau pengamatan yang juga menentukan titik-titik ruang multidimensi yang tepat. Suatu sistem pengenalan pola yang lengkap terdiri atas suatu sensor yang mengumpulkan pengamatan untuk diklasifikasi atau digambar, suatu skema mekanisme ekstraksi fitur yang menghitung informasi numerik atau simbolik dari pengamatan, dan skema klasifikasi atau deskripsi yang mengklasifikasikan atau mendeskripsikan pengamatan dengan mengandalkan fitur yang diekstraksi (Wikipedia, 22 Februari 2010).

Berbagai metode dikenal dalam pengenalan pola, seperti analisis diskriminan linier, model hidden markov, k-Nearest Neighbour(kNN), teori Bayes, support vector machine (SVM) hingga metode kecerdasan buatan seperti artificial neural network. Pada umumnya, masyarakat mengenal pengenalan pola hanya dapat diselesaikan dengan metode-metode dalam bidang komputer salah satunya seperti artificial neural network, dan tidak mengenal pengenalan pola secara statistika. Oleh karena itu, dalam penelitian ini penulis mengemukakan pengenalan pola secara statistika yakni dengan menggunakan pendekatan analisis diskriminan linier.

(15)

Desain dari sebuah sistem pengenalan pola terdiri atas tiga aspek sebagai berikut:

1. akuisisi data dan pre-proses 2. representasi data, dan 3. pengambilan keputusan

Proses pada sistem pengenalan pola dimulai dari pemilihan pola sebagai sensor, kemudian pola-pola tersebut masuk ke teknik pemrosesan, bagan representasi, dan terakhir adalah proses pemodelan pembuatan keputusan. Dalam hal ini, empat pendekatan terbaik yang dikenal untuk pengenalan pola ialah:

1. pencocokan template (template matching) 2. klasifikasi statistik

3. sintaktis atau pencocokan struktur, dan 4. jaringan saraf tiruan

Model-model ini tidak independen dan kadang memiliki metode pengenalan pola yang sama dengan perbedaan interpretasi (Jain et. al, 2000).

Pada pengenalan pola terdapat bagan klasifikasi yang digunakan untuk mengelompokkan data. Bagan klasifikasi yang digunakan dalam penelitian ini akan menggunakan pendekatan statistik. Pengenalan pola secara statistik didasarkan pada pola-pola karakterisasi statistik, dengan asumsi bahwa pola-pola yang dihasilkan merupakan suatu sistem probabilitas.

Fukunaga (1990) dalam tulisannya menyajikan cara-cara dasar perhitungan matematika untuk proses pembuatan keputusan secara statistik dalam pengenalan pola. Tujuan utama pattern recognition adalah mengklarifikasikan mekanisasi sulit yang sering ditemukan dalam dunia sehari-hari seperti langkah dalam permainan catur didasarkan pada pola yang ada di papan catur, pembelian atau persediaan penjualan diputuskan melalui suatu pola informasi yang kompleks.

Beragam algoritma dalam statistika dapat diterapkan untuk pengenalan pola seperti teori Bayes, k-Nearest Neighbour (kNN), dan analisis diskriminan linier.

(16)

Dalam penelitian ini, peneliti menggunakan metode Analisis Diskriminan Linier dan perkembangannya yakni metode Analisis Diskriminan Linier 2-Dimensi dan Analisis Diskriminan Linier 2-Dimensi Simetris. Analisis Diskriminan Linier selanjutnya disingkat penulis dengan ADL telah sukses diaplikasikan dalam visualisasi komputer. Peneliti menggunakan metode ini karena metode ini dapat mengklasifikasikan objek-objek dengan baik sehingga terdapat perbedaan antara pola yang memudahkan untuk proses pengenalan pola. Sebagai suatu pendekatan analisis subruang untuk mempelajari struktur berdimensi rendah data berdimensi tinggi, ADL mencari suatu himpunan vektor-vektor yang memaksimumkan Criterion Fisher Discriminant. Metode ini secara simultan meminimumkan sebaran dalam kelas (Sw) dan memaksimumkan sebaran antar kelas (Sb) dalam proyeksi fitur ruang vektor.

[ ][ ]

k i c

w k i k i

i X X

S X  X 

 



 

 

[ ][ ]

b i i i

S N    





 

dimana N_i adalah jumlah sampel pada kelas

X

_i, dan _i adalah image rata-rata dari kelas X_i, dan  adalah rata-rata keseluruhan. Rumus rata-rata kelas dan rata-rata keseluruhan adalah sebagai berikut:

i _x

x N

 



_ adalah mean (rata-rata) dari kelas ke-i, dan

i k

i x x



 

_ _

adalah rata-rata keseluruhan (Fukunaga, 1990).

Metode-metode dasar termasuk Fisherfaces telah diteliti oleh Belhumeur, et. al (1997) dan variansinya telah diteliti sebelumnya oleh Swets dan Weng (1996). Belheumeur et. al (1997) mendiskusikan perbandingan antara Fisherfaces dan Eigenfaces serta menunjukkan bahwa pendekatan ADL lebih baik dibandingkan Analisis Komponen Utama (AKU). Beberapa tahun berikutnya, metode Analisis Diskriminan Linier 2-Dimensi yang kemudian disingkat penulis dengan ADL2-D diperkenalkan oleh Liu et al. (1993). Selanjutnya, Li dan Yuan (2005) dan Xiong et. al (2005) memformulasikan gambar berdasarkan perhitungan matriks sebaran antar kelas dan matriks sebaran dalam kelas. Metode ini tidak mengubah gambar ke dalam vektor sehingga terjadi pereduksian dimensi dari matriks-matriks gambar. Penelitian berikutnya, Song et. al (2005) dan Yang et. al (2003) menggunakan korelasi kolom

(17)

demi kolom untuk mereduksi sejumlah kolom. Kemudian, Yang et. al (2005) memperbaiki dan memberikan suatu algoritma pertama untuk mereduksi banyaknya kolom, dan selanjutnya mereduksi banyaknya baris. Metode ini merupakan algoritma yang dependen. Sebelumnya, Ye et. al (2004) memperkenalkan suatu order bebas (independen) ADL2-D dengan suatu solusi algoritma iterasi. Mereka mempertimbangkan proyeksi data ke dalam suatu ruang yang merupakan produk tensor dalam 2 vektor ruang.

Meskipun metode ADL2-D lebih baik dibandingkan metode ADL klasik, namun metode ini menyisakan suatu problem mendasar yang tidak terpecahkan. Untuk vektor 1-Dimensi, matriks sebaran antar kelas maupun matriks sebaran dalam kelas didefinisikan tunggal. Untuk matriks 2-Dimensi seperti gambar, dan pada umumnya gambar bersifat tidak simetris Xi  XiT, maka matriks sebaran antar kelas maupun matriks sebaran dalam kelas didefinisikan tidak tunggal yakni

( T) ( T ),

b b

S XX S X X ( T) ( T ),

w w

S XX S X X

sehingga terdapat sejumlah pilihan-pilihan yang mungkin untuk menentukan fungsi objektif ADL yang tepat.

1.2 Perumusan Masalah

Analisis Diskriminan Linier 2-Dimensi menimbulkan masalah keraguan dalam sistem pengklasifikasian, sebagai contoh untuk matriks 2-Dimensi seperti gambar, dapat menghasilkan suatu matriks tidak simetris yakni Xi  XiT. Dalam kaitan ini, matriks sebaran antar-kelas (Sb) maupun matriks sebaran dalam-kelas (Sw) didefinisikan tidak tunggal, sehingga terdapat sejumlah pilihan untuk menentukan fungsi objektif ADLD. Oleh karena itu, peneliti mengajukan suatu metode Analisis Diskriminan Linier 2-Dimensi Simetris untuk mengatasi masalah keraguan tersebut dan menentukan fungsi objektif optimum yang tepat.

(18)

1.3 Tinjauan Pustaka

Pengenalan pola merupakan cabang sains yang bertujuan untuk mengklasifikasi objek-objek ke dalam kategori-kategori atau kelas-kelas (Theodoridis, 2003). Aplikasi pengenalan pola sangat luas, di antaranya mengenali suara dalam sistem pengamanan, membaca huruf dalam OCR, mengklasifikasikan penyakit secara otomatis berdasarkan hasil diagnosa kondisi medis pasien, analisis gambar, pengenalan karakter, mengidentifikasi seseorang, dan sebagainya.

Berbagai metode dikenal dalam pengenalan pola, seperti analisis diskriminan linier, model hidden markov hingga metode kecerdasan buatan seperti artificial neural network. Banyak peneliti menggunakan Analisis Diskriminan untuk mengklasifikasikan objek dalam visualisasi komputer. Mereka menggunakan sistem pengklasifikasian umum dengan urutan pengenalan pola sebagai sensor, pengukuran pola, pemilihan pola, pengklasifikasian, dan yang terakhir adalah sistem evaluasi. Selanjutnya, Yu and Dasgupta (2008) menggunakan metode pengenalan pola dengan sebutan Conserved Self Pattern Recognition Algorithm (CSPRA) yang diaplikasikan untuk mendiagosis penyakit kanker payudara. Algoritma ini mendeteksi kasus malignant menggunakan data yang dikumpulkan oleh Dr. Wolberg, kemudian dievaluasi untuk pengukuran rata-rata deteksi dan kesalahan alarm rata-rata. Hasil penelitian ini menunjukkan bahwa pendekatan yang mereka gunakan telah menjanjikan dan memberikan suatu potensi yang besar dalam pendiagnosisan kanker secara klinis.

Sistem pengenalan pola yang selalu digunakan dalam penelitian, dioperasikan ke dalam dua model yaitu: pelatihan (learning) dan pengujian (testing). Peraturan dari modul pemrosesan adalah dengan membagi-bagi pola dari latar belakang, pemindahan noise, menormalisasikan pola, dan pengoperasian lain yang akan terlibat dalam pendefinisian representasi data.

Dalam model pelatihan (learning), modul pengekstrasi fitur atau pemilihan fitur menemukan fitur yang tepat untuk mempresentasikan pola masukan dan kemudian sistem klasifikasi dilatih untuk mempartisi ruang fitur. Tanda panah balik mengikuti suatu rancangan untuk mengoptimisasikan pemrosesan. Dalam model

(19)

klasifikasi, pengklasifikasi terlatih memberikan pola masukan ke salah satu pola-pola kelas dengan pertimbangan berdasarkan fitur-fitur terhitung. Untuk lebih jelasnya mari perhatikan bagan pengenalan dan pengklasifikasian pola berikut (Jain et. al, 2000).

test

pola

Pengklasifikasian Pelatihan

latihan pola

Gambar 1.1 : Model pengenalan pola secara statistik

Metode klasifikasi yang digunakan dalam pengenalan pola ini adalah Analisis Diskriminan Linier 2-Dimensi Simetris (ADL2-D Simetris) yaitu perkembangan dari Analisis Diskriminan Linier klasik (ADL klasik). Analisis diskriminan adalah teknik statistika multivariat yang terkait dengan pemisahan (separating) atau alokasi/klasifikasi (classification) sekelompok objek atau observasi ke dalam kelompok (group) yang telah terlebih dahulu didefinisikan. Dalam tujuan pengenalan objek (observasi), metode ini mencoba menemukan suatu ‘discriminant’ yang nilainya secara numeris sedemikian sehingga mampu memisahkan objek yang karakteristiknya telah diketahui. Sedangkan dalam tujuan klasifikasi objek, metode ini akan mensortir objek (observasi) ke dalam 2 atau lebih kelas (Fukunaga, 1990).

Jika diberikan suatu matriks data ARN n , ADL klasik bertujuan untuk menemukan suatu transformasi GRN l yang memetakan setiap kolom ai dari

Pemrosesan Pengukuran

fitur Pengklasifikasian

Pemrosesan Pengukuran fitur

(20)

matriks A, untuk 1≤ i ≤ n, dalam ruang dimensi N ke vektor bi dalam ruang dimensi l. Yakni G : a_iRN n  b_i G aT _iR ll( N). Ekivalennya, ADL bertujuan untuk menemukan suatu ruang vektor  direntangkan oleh { }l₁

i i

g _ dimana G= [g1, g2, …,gl], sehingga setiap ai diproyeksikan ke  oleh ( 1. ,..., . )

T T T l

i l i

g a g a R (Ye et. al, 2004).

Asumsikan bahwa data asli dalam A dipartisi ke dalam k kelas sehingga A = {

∏1, ∏2,…, ∏k}, dimana ∏i memuat ni titik data dari kelas ke –i, dan

k i i n n



ADL klasik bertujuan untuk menemukan transformasi optimal G sehingga struktur kelas dari data ruang berdimensi tinggi yang asli diubah ke dalam ruang berdimensi rendah (Ye et. al, 2004).

Dalam metode Analisis Diskriminan Linier, terdapat dua matriks sebaran yaitu matriks sebaran dalam kelas disimbolkan dengan S_w , dan matriks sebaran antar kelas disimbolkan dengan S_b didefinisikan masing-masing sebagai berikut:

[ ][ ]

k i c

w k i k i

i X X

S X  X 

 



 

  (1.1)

[ ][ ]

b i i i

S N    





  (1.2)

dimana N_i adalah jumlah sampel pada kelas

X

_i, dan _i adalah image rata-rata dari kelas X_i, dan  adalah rata-rata keseluruhan. Rumus rata-rata kelas dan rata-rata keseluruhan adalah sebagai berikut:

i x

x N

 



_ adalah mean (rata-rata) dari kelas ke-i, dan

i k

i x x



 

_ _ adalah rata-rata keseluruhan (Fukunaga, 1990).

Seperti diutarakan sebelumnya, metode Analisis Diskriminan mengharapkan dapat meminimumkan matriks sebaran dalam-kelas

 

S_w sementara matriks sebaran antar kelas

 

S_b dimaksimumkan. Dalam transformasi linier, sebuah transformasi optimal

(21)

G akan memaksimumkan ( L b

S ) dan meminimumkan ( L w

S ). Optimisasi umum dalam Analisis Diskriminan Linier meliputi (lihat Fukunaga, 1990) :

1 1

max{ (( ) )} dan min{ (( ) )}

b w

L L L L

w _G b

G trace S S trace S S

 

Catatan bahwa trace(A/B) = trace(B-1A) = trace (AB-1).

Penelitian selanjutnya tentang Analisis Diskriminan Linier 2-Dimensi (ADL2-D) yakni suatu metode baru yang merupakan perkembangan dari Analisis Diskriminan Linier. Beberapa tahun belakangan ini, metode-metode ADL2-D ini telah diperkenalkan. Li and Yuan (2005), dan Xiong et. al (2005) memformulasikan gambar berdasarkan perhitungan matriks sebaran dalam kelas dan antar kelas. Metode-metode tersebut tidak merepresentasikan gambar ke dalam vektor sehingga tereduksi secara dimensional ke dalam matriks gambar. Song et. al (2005) dan Yang et. al (2003) menggunakan korelasi kolom demi kolom untuk mereduksi sejumlah kolom. Selanjutnya Yang et. al (2005) memperbaiki dan memberikan suatu algoritma untuk mereduksi bilangan-bilangan pada kolom pertama dan mereduksi bilangan-bilangan pada baris berikutnya. Metode ini merupakan suatu algoritma dependen. Ye et. al (2005) memperkenalkan suatu ADL2-D independen dengan suatu algoritma solusi iteratif.

Untuk Analisis Diskriminan Linier 2 Dimensi, perbedaan utama antara ADL klasik dan ADL2-D yang peneliti usulkan dalam penelitian ini adalah perwakilan (representasi) data. ADL klasik menggunakan representasi vektor, sedangkan D bekerja dengan data dalam representasi matriks. Dalam penggunaan metode ADL2- ADL2-D akan terlihat bahwa representasi mengarah ke eigen-dekomposisi pada matriks dengan ukuran lebih kecil. Lebih khusus, ADL2-D melibatkan eigen-dekomposisi dari matriks dengan ukuran r × r dan c × c, yang jauh lebih kecil daripada matriks ADL klasik (Ye et. al, 2005).

Dalam ADL2-D telah disepakati bahwa suatu himpunan gambar disimbolkan dengan X =(X1, X2, ..., Xn), Xi r c . Dengan intuisi yang sama dengan ADL klasik, ADL2-D mencoba untuk mencari suatu transformasi bilinier

(22)

sehingga kelas-kelas yang berbeda dipisahkan. Kuncinya adalah bagaimana memilih ruang bagian L dan R berdasarkan matriks sebaran dalam kelas dan antar kelas (Luo et. al, 2007).

Tidak seperti ADL klasik, ADL2-D menganggap hal berikut (l 1×l2) - ruang dimensi L⊗R, yang merupakan tensor product (kronecker product) dua ruang berikut: L direntang oleh 1

{ }u_{i i}l_ dan R direntangkan oleh 1

{ }v_{i i}l_ . Didefinisikan dua matriks L = [u1, ..., ul] Rr l1 dan R = [v1, ..., vl] Rc l2. Kemudian proyeksi dari XRr c ke ruang L⊗R adalah LTX R _Rl l12_{(Ye et. al, 2004).}

Meskipun demikian, ADL2-D mempunyai suatu masalah mendasar yaitu masalah keraguan sehingga metode tersebut menimbulkan banyak spekulasi untuk menentukan suatu fungsi objektif optimum. ADL2-D Simetris adalah suatu perkembangan metode dari ADL2-D yang diperkenalkan oleh Luo, et al. (2007). Kontribusi utama dalam penelitian ini adalah untuk memperkenalkan suatu representase data baru untuk memecahkan masalah ambigu dari ADL2-D yang ada. Pendekatan ini didorong oleh satu kunci penelitian: jika gambar simetris, yakni Xi = XiT , maka:

( T) ( T ),

w w

S XX S X X

(

)

(

).

b b

S XX



S X X

Kemudian masalah ambigu yang terdapat dalam ADL2-D biasa dapat dipecahkan. Karena alasan ini, peneliti memperkenalkan suatu representasi data baru yang disebut “Transformasi Bilinier.”

1.4 Tujuan Penelitian

Adapun tujuan penelitian yakni untuk menentukan fungsi objektif optimum ADL2-D Simetris dan algoritma untuk mengatasi masalah keraguan yang terdapat pada ADL2-D biasa.

(23)

1.5 Manfaat Penelitian

1. Memberikan manfaat bagi pembaca untuk lebih mengetahui dan memahami tentang pengenalan pola secara statistika dengan pendekatan Analisis Diskriminan Linier 2-Dimensi Simetris yang juga dapat digunakan dalam pengklasifikasian data.

2. Dapat diaplikasikan dalam pengenalan wajah atau klasifikasi objek dalam visualisasi komputer.

1.6 Metodologi Penelitian

Metode ini bersifat literatur dan kepustakaan. Untuk mengatasi masalah keraguan yang terdapat pada Analisis Diskriminan Linier 2-Dimensi biasa dilakukan dengan cara pendekatan sebagai berikut:

1. Terlebih dahulu memahami cara menentukan matriks sebaran dalam kelas (Sw), matriks sebaran antar kelas (Sb) yang merupakan matriks kovarians, matriks R dan L, eigen vektor dari kedua matriks tersebut, dan transformasi bilinier Bl = LTAl R.

2. Menganalisis persamaan-persamaan yang terdapat pada Analisis Diskriminan Linier 2-Dimensi kemudian dengan menggunakan Transformasi Bilinier akan ditentukan fungsi objektif optimum ADL2-D 3. Menguraikan teorema dan kemudian menyelesaikan masalah keraguan

yang terdapat pada ADL2-D biasa

4. Menyusun algoritma sebagai solusi untuk mengatasi masalah keraguan yang dapat digunakan dalam program visualisasi komputer

5. Mengaplikasikan metode baik fungsi objektif maupun algoritma sehingga dapat lebih jelas terurai bahwa metode ADL2-D Simetris memiliki kelebihan dalam hal mengatasi masalah keraguan yang ditimbulkan dalam ADL2-D dan akan diperlihatkan hasil pengklasifikasian yang efisien dan akurat.

(24)

LANDASAN TEORI

Pada bab ini akan diperlihatkan teori-teori yang berhubungan dengan penelitian ini sehingga dapat dijadikan sebagai landasan berfikir dalam melakukan penelitian ini dan akan mempermudah dalam hal pembahasan hasil utama pada bab berikutnya. Teori tersebut mencakup pengertian dari pengenalan pola secara statistika (statistical pattern recognition), contoh statistical pattern recognition, matriks kovarians, contoh matriks kovarians, nilai eigen dan vektor eigen,contoh nilai eigen dan vektor eigen, analisis diskriminan linier, analisis diskriminan linier 2-dimensi dan analisis diskriminan linier 2-dimensi simetris.

2.1 Pengenalan Pola Secara Statistika (Statistical Pattern Recognition)

Pengenalan pola atau dikenal dengan sebutan pattern recognition merupakan salah satu cabang ilmu sains. Pengenalan pola pada dasarnya adalah suatu sistem yang tujuannya adalah mengklasifikasikan objek-objek ke dalam kategori-kategori atau kelas-kelas berdasarkan baik pada apriori pengetahuan atau pada informasi statistik yang diambil dari pola (Theodoridis, 2003).

Fukunaga (1990) menyajikan cara-cara dasar perhitungan matematika untuk proses pembuatan keputusan secara statistik dalam pengenalan pola. Tujuan utama pattern recognition adalah mengklarifikasikan mekanisasi sulit yang sering ditemukan dalam dunia sehari-hari seperti langkah dalam permainan catur didasarkan pada pola yang ada di papan catur, pembelian atau persediaan penjualan diputuskan melalui suatu pola informasi yang kompleks. Sebagian besar aplikasi-aplikasi penting

(25)

dalam pattern recognition dikarakterkan ke dalam satu bentuk kurva atau pola gambar geometri. Sebagai contoh, pengetesan suatu mesin layak atau tidak menampilkan pola berbentuk kurva. Masalah ini mereduksi untuk pemisahan kurva dari mesin yang bagus dan yang tidak bagus. Pada contoh lain, pengenalan pola huruf hasil cetak tulisan tangan diklasifikasikan dalam bentuk gambar geometri. Dalam proses untuk pengklasifikasiannya, pertama kita ukur karakteristik-karakteristik pengamatan dari sampel. Kemudian, ekstrasi seluruh informasi yang terdapat dalam sampel untuk menghitung nilai sampel-waktu untuk suatu pola berbentuk kurva, x t( ),..., ( )₁ x t_n , dan tingkat kehitaman piksel untuk suatu figur,

(1),..., ( )

x x n seperti yang ditunjukkan dalam gambar 2.1.

Gambar 2.1: Contoh dua pengukuran pola (a) gelombang (b) huruf

Karena input dari pengenalan pola merupakan suatu vektor acak dengan n peubah, maka, baik untuk pola berbentuk gelombang ataupun huruf, keduanya diekspresikan ke dalam bentuk vektor dalam suatu ruang dimensi-n. Sebagai contoh, pengamatan x(i) bervariasi dari huruf A yang satu ke huruf A yang lainnya dan oleh karena itu, x(i) merupakan suatu variabel acak, dan X merupakan vektor acak.

2.1.1 Vektor Acak dan Distribusinya

Seperti yang telah didiskusikan pada bagian 2.1, input dari jaringan pengenalan pola merupakan suatu vektor acak dengan n peubah sebagai berikut



1 2



X= x x ...x_n T (2.1) 0 t1 t2 t3

x(t)

t tn-1 tn

(a)

. . .

Pixel #1

Pixel #n (b)

(26)

dimana T adalah transpos dari vektor.

Suatu vektor acak dapat dikarakterisasikan oleh suatu fungsi distribusi peluang, yang didefinisikan oleh





1 1 1

( , . . ., )n Pr x , . . ., xn n

P x x  x x (2.2)

(Fukunaga, 1990)

Selain itu, suatu vektor acak mempunyai suatu paramater distribusi. Parameter distribusi yang akan dibahas dalam penelitian ini adalah matriks kovarians.

2.1.2 Matriks Kovarians

Matriks kovarians S adalah matriks kovarians sampel yang didefinisikan sebagai berikut:

S = E[ Xi– Mi ] [ Xi– Mi]T (Fukunaga, 1990) (2.3)

Xi adalah data pada masing-masing kelas, Mi adalah rata-rata kelas ke-i. Matriks kovarians S berisi nilai varians pada diagonal utama sebanyak p variabel dan nilai kovarians pada elemen lainnya sebanyak p – 1 kovarians. Suatu matriks  dikatakan matriks kovarians populasi jika matriks tersebut adalah matriks simetris yang diagonalnya harus berisi elemen-elemen nonnegatif sehingga matriks tersebut merupakan matriks definit nonnegatif.

Jika Ai = [ ai1, ai2, . . ., ain]Tmempunyai rata-rata kelas

1 n

i i

M a

n _





, maka untuk melihat betapa dekatnya korelasi antar kelas, harus diatur agar masing-masing nilai mempunyai jumlah selisih rata-rata sama dengan 0, yaitu dengan cara mengurangi setiap ai dengan rata-rata kelasnya. Kemudian menempatkan nilai-nilai tersebut ke dalam sebuah matriks seperti berikut:

11 1 1

1 1

 

 

 

 _ _

 _ _ 

 



 



n n

n nn n

a M a M

(27)

11 1 1 11 1 1

1 1 1 1

1 1

n n n n

n nn n n nn n

a M a M a M a M

S n

a M a M a M a M

   

   

   

 _ _{ } _

 _ _ _  _{ } _ _ _

 

   

 

(2.4)

Komponen diagonal dari matriks kovarians adalah varians dari masing-masing kelas peubah acak. Untuk lebih jelasnya tentang matriks kovarians, perhatikan contoh 2.1.2 berikut.

Contoh 2.1.2

Diketahui suatu data nilai 7 mahasiswa meliputi nilai tugas rumah, ujian dan ujian akhir sebagai berikut.

Mahasiswa Nilai Tugas Rumah Ujian Ujian Akhir

MH 1 198 200 196

MH 2 160 165 165

MH 3 158 158 133

MH 4 150 165 91

MH 5 175 182 151

MH 6 134 135 101

MH 7 152 136 80

Rata-rata 161 163 131

Dari data pada contoh 2.1.2 akan diperlihatkan bagaimana kinerja mahasiswa dengan membandingkan antara kelompok ujian atau nilai tugas. Agar terlihat betapa dekatnya dua kelompok nilai saling berkorelasi, harus diatur agar masing-masing nilai tersebut mempunyai rata-rata sama dengan 0, yaitu dengan cara mengurangi setiap nilai dalam kolom dengan rata-rata nilai pada kolom yang sama sehingga nilai yang telah ditranslasikan ini akan mempunyai jumlah selisih atau deviasi terhadap rata-rata sama dengan 0. Kemudian, tempatkan nilai-nilai yang telah ditranslasikan tersebut ke dalam matriks

(28)

37 37 65 -1 2 34 -3 -5 2 -11 2 -40 14 19 20 -27 -28 -30 -9 -27 -51

 

 

 

Jika terdapat lebih dari dua kelompok data, maka dapat dibentuk sebuah matriks X dimana kolom-kolomnya memperlihatkan simpangan dari rata-rata untuk setiap kelompok dan kemudian membentuk sebuah matriks kovariansi S dengan menetapkan

1 -1 S

 T

X X

Matriks kovariansi untuk ketiga kelompok data nilai matematika adalah 37 37 65

1 2 34

37 1 3 11 14 27 9 3 5 2

37 2 5 2 19 28 27 11 2 40

65 34 2 10 20 30 51 14 19 20

27 28 30

9 27 51

 

 _ 

 

      

 

 

 _    __  _

 _ _ _  

 _ _

  

 

 _ _ _ 

 

417, 7 4375,5 725, 7 437, 5 546, 0 830, 0 725, 7 830, 0 1814,3

 

 

 _ _

 

 

Entri-entri diagonal matriks S adalah variansi untuk ketiga kelompok nilai dan entri-entri di luar diagonal adalah kovariansi-kovariansi.

2.1.3 Nilai Eigen dan Vektor Eigen

Definisi. Anggap A adalah suatu matriks n _× n. Skalar  disebut sebagai suatu nilai eigen atau nilai karakteristik dari A jika terdapat suatu vektor tak nol x, sehingga Ax =

x. Vektor x disebut vektor eigen dari A yang berasosiasi dengan  (Horn and Johnson, 1985).

(29)

Untuk mengetahui lebih jelas mengenai nilai eigen dan vektor eigen, perhatikan contoh 2.1.3 berikut.

Contoh 2.1.3

Misalkan 3 2 dan -1

3 -2 3

A_ _  _{ }

  x  .

Karena 3 2 -1 3 -3 -1 -3

3 -2 3 -9 3

A _     _{    }   _{ }

       

x x,

dari penyelesaian contoh soal di atas terlihat bahwa  =-3 adalah nilai eigen dari A dan x = -1

   

  merupakan vektor eigen yang berasosiasi dengan  = -3.

Hasil Kali dan Jumlah Nilai Eigen

Jika p() adalah polinom karakteristik dari matriks A yang berorde n _× n, maka

11 12 1

21 12 2

1 2

( ) det( )

n n

n n nn

a a a

p A I

a a a



 





  

 

 (2.5)

Dengan menguraikan determinan sepanjang kolom pertama, diperoleh

11 11 1 1

det( - ) ( - ) det( ) (-1) det( )

i i

A I a  M a  M



 



di mana minor-minor Mi1, i = 2, . . ., n tidak mengandung kedua elemen diagonal (a_ii). Dengan menguraikan det(M11) dengan cara yang sama, dapat disimpulkan bahwa

(a₁₁)(a₂₂)...(a_nn) (2.6) adalah satu-satunya suku dalam ekspansi det(AI)yang menyebabkan suatu hasil kali lebih dari n –2 elemen diagonal. Jika persamaan (2.7) diuraikan, maka koefisien dari n akan menjadi (-1)n. Jadi, koefisien utama dari p() adalah (-1)n dan dengan demikian jika 1, . . .,n adalah nilai-nilai eigen dari A, maka

1 2

( ) ( 1) (n )( )...( _n)

p           (2.7) untuk menghitung nilai eigen dan vektor eigen, nilai p( ) harus sama dengan 0, sehingga diperoleh

(30)

1 2

( ) ( )( )...( _n ) p           Dari persamaan (2.5) dan (2.7) maka diperoleh

1. 2 n p(0) det( )A

    

Dari persamaan (2.6), juga diperoleh

1 n

ii i

a 



sebagai koefisien dari (-)n – 1. Jika dengan persamaan (2.7)

1 n

i i







. Dengan demikian, maka

1 n

i i







1 n

ii i

a 



Jumlah elemen diagonal dari (A) dinamakan trace dari A, dan dilambangkan dengan tr(A), catatan bahwa tr(A + B) = tr(A) + tr(B) (Horn and Johnson, 1985).

Contoh 2.1.3.1

Jika 3 2 3 2 A  _

  maka det(A) = (-6) – 6 = -12 dan tr(A) = -3 + 2 = -1

Polinom karakteristik dari A diberikan oleh persamaan

3 2

 _{ }



  _{  } 

dan sebagai akibatnya nilai-nilai eigen dari A adalah -4 dan 3. Dapat ditinjau bahwa 1+ 2 = -1 = tr(A) dan 1 . 2 = -12 = det(A).

Dalam penelitian ini digunakan nilai eigen dan vektor eigen. Fungsi nilai eigen pada penelitian ini yakni karena trace = jumlah nilai eigen = jumlah elemen diagonal akan digunakan untuk menentukan nilai fungsi objektif yang berupa skalar bukan dalam bentuk matriks. Vektor eigen digunakan untuk mengetahui kombinasi linier matriks L dan R yang merupakan matriks transformasi kiri dan kanan oleh ADL2-D. Matriks L dan R selanjutnya akan digunakan untuk menentukan matriks sebaran dalam kelas jika L atau R tetap dan matiks sebaran antar kelas jika L atau R tetap S_wR, S_wL, S_bR, S_bL. Matriks L dan R tersebut kemudian akan digunakan untuk menghitung transformasi bilinier sehingga diperoleh perbedaan antar kelas dan hasil klasifikasi yang baik.

(31)

2.2 Analisis Diskriminan Linier (ADL)

Analisis diskriminan adalah teknik statistik multivariat yang terkait dengan pemisahan (separating) atau alokasi/klasifikasi (classification) sekelompok objek atau observasi ke dalam kelompok (group) yang telah terlebih dahulu didefinisikan. Dalam tujuan pengenalan objek (observasi), metode ini mencoba menemukan suatu ‘discriminant’ yang nilainya secara numeris sedemikian sehingga mampu memisahkan objek yang karakteristiknya telah diketahui. Sedangkan dalam tujuan klasifikasi objek, metode ini akan mensortir objek (observasi) ke dalam 2 atau lebih kelas (Fukunaga, 1990).

Jika diberikan suatu matriks data ARN n , metode ADL klasik bertujuan menemukan suatu transformasi _G_RN l _{yang memetakan setiap kolom}_a

i dari matriks A, untuk 1≤ i ≤ n, dalam ruang dimensi N ke vektor bi dalam ruang dimensi l. Yakni G : a_iRN n  b_i G aT _iR ll( N). Dengan kata lain, ADL bertujuan menemukan suatu ruang vektor  direntangkan oleh { }g_{i i}l_₁ di mana G= [g1, g2, …,gl], sehingga setiap ai diproyeksikan ke  oleh (g a₁T. ,...,_i g aT_l. )_i TRl (Ye et. al, 2004).

Asumsikan bahwa data asli dalam A dipartisi ke dalam k kelas sehingga A = {∏1, ∏2,…, ∏k}, dimana ∏i memuat ni titik data dari kelas ke –i, dan

k i i n n



ADL klasik bertujuan untuk menemukan transformasi optimal G sehingga struktur kelas dari data ruang berdimensi tinggi yang asli diubah ke dalam ruang berdimensi rendah (Ye et. al, 2004).

Dalam ADL, transformasi ke subruang yang berdimensi lebih rendah yaitu

i i

y G x (Luo et al, 2007) (2.8) di mana G merupakan transformasi ke subruang. Sering juga dituliskan dengan (y1, ..., yn) = GT(x1, ..., xn) atau Y = GT X. Tujuan utama dari ADL adalah mencari nilai G sehingga kelas dapat lebih terpisah dalam ruang transformasi dan dengan mudah dapat dibedakan dari yang lainnya.

(32)

Dalam metode Analisis Diskriminan Linier, terdapat dua matriks sebaran yaitu matriks sebaran dalam-kelas disimbolkan dengan S_w, dan matriks sebaran antar-kelas disimbolkan dengan S_b, masing-masing didefinisikan sebagai berikut:

[ ][ ]

k i c

w k i k i

i x

S x m x m

 



 

  (2.9)

[ ][ ]

b i i i

S n m m m m





  (2.10)

di mana n_i adalah jumlah sampel pada kelas

x

_i, dan m_i adalah image rata-rata dari kelas ke-i dan m adalah rata-rata keseluruhan. Rumus rata-rata kelas dan rata-rata keseluruhan adalah sebagai berikut:

i _x

m x

n 





adalah mean (rata-rata) dari kelas ke-i, dan

i k

i x

m x

n  



 

adalah rata-rata keseluruhan (Fukunaga, 1990).

Seperti diutarakan sebelumnya, metode Analisis Diskriminan Linier diharapkan dapat meminimumkan jarak dalam matriks sebaran dalam-kelas (S_w) sementara jarak matriks sebaran antar-kelas (S_b)dapat dimaksimumkan sehingga dapat terlihat perbedaan atau pemisahan antar kelas. Dalam hasil ruang dimensi yang lebih rendah dari transformasi linier G (atau proyeksi linier ke dalam ruang vektor ), S_b dan

S menjadi

( ) T ( ) ,

b b

S Y G S X G (2.11)

( ) T ( ) .

w w

S Y G S X G (2.12)

Transformasi optimal G akan memaksimumkan trace(S_bL) dan meminimumkan trace( L

S ).

Optimisasi umum dalam Analisis Diskriminan Linier meliputi (lihat Fukunaga, 1990) :

1 1

max{ (( ) )} dan min{ (( ) )}

b w

L L L L

w _G b

G trace S S trace S S

  _(2.13) Hal ini dituliskan dalam fungsi objektif optimum:

(33)

( ) ( ) max ( ) tr tr

( ) ( )

b b

T G

w w

S Y G S X G

J G

S Y G S X G

  (2.14)

Catatan bahwa trace(A/B) = trace(B-1A) = trace (AB-1)

Masalah optimisasi dari persamaan (2.14) di atas ekivalen dengan masalah generalisasi nilai eigen berikut: S x_b S x_w , untuk   0. Penyelesaiannya dapat diperoleh dengan menerapkan eigen-dekomposisi ke matriks S S x_w1 _b jika S_w nonsingular, atau 1

b w

S S x jika S_b nonsingular. Terdapat paling banyak k – 1 vektor-vektor eigen yang cocok ke nilai eigen tak nol, karena kedudukan dari matriks S_b dibatasi oleh k – 1. Oleh karena itu, dimensi yang direduksi oleh ADL klasik terletak pada k – 1.

Gambar berikut ini menunjukkan hasil dari penerapan metode Analisis Diskriminan Linier (ADL) dalam pengklasifikasian.

Gambar 2.2 Hasil Klasifikasi dengan Analisis Diskriminan Linier

Dalam hal transformasi setiap data, Fukunaga (1990) mengklasifikasikan himpunan data dan vektor uji ke dalam ruang transformasi melalui dua pendekatan yang berbeda sebagai berikut:

1. Transformasi Class-dependent yaitu pendekatan yang memaksimumkan rasio varians antar-kelas ke varians dalam-kelas.

2. Transformasi Class-independent yaitu memaksimumkan rasio seluruh varians dalam-kelas.

Selain itu, ia juga menyajikan operasi matematika untuk mempermudah klasifikasi sejumlah objek yaitu:

(34)

1. Formulasikan himpunan data dan data uji yang akan diklasifikasikan dalam ruang aslinya. Untuk memudahkan pengertian, peneliti menggunakan dua data dan direpresentasikan ke dalam matriks yang berisi fitur dalam bentuk seperti berikut

11 12

21 22

1 2

m m

a a

set

a a

 

 



 

 

   

11 12

21 22

1 2

m m

b b

set

b b

 

 



 

 

   

2. Hitung rata-rata setiap himpunan data dan rata-rata dari seluruh data. Anggap ₁ dan ₂adalah rata-rata dari himpunan data 1 dan 2, serta ₃ sebagai rata-rata dari seluruh data yang diperoleh dari

3 p1 1 p2 2

    

di mana p1 dan p2 adalah peluang dari masing-masing kelas. Pada kasus dua kelas, faktor peluang diasumsikan sebesar 0,5.

3. Matriks sebaran dalam kelas merupakan ekspektasi kovarians dari setiap kelas. dengan perhitungan sebagai berikut

cov

w j j

S 



p Untuk permasalahan dua kelas,

1 2

0, 5 cov 0, 5 cov

S  

Semua matriks kovarians adalah matriks yang simetris. Matriks kovarians dihitung menggunakan persamaan berikut

cov ( )( )T

j  xjj xjj

Matriks sebaran antar-kelas dihitung dengan menggunakan persamaan berikut

3 3

( )( )T

b j j

S 



    

Faktor optimisasi dalam tipe dependent-class transformasi dapat dihitung sebagai

( )

criterion invcov_j S_b

Faktor optimisasi dalam tipe independent-class transformasi dapat dihitung sebagai

( )

(35)

2.3 Analisis Diskriminan Linier 2-Dimensi

Analisis Diskriminan Linier 2-Dimensi (ADL2-D) adalah suatu metode baru yang merupakan perkembangan dari Analisis Diskriminan Linier. Beberapa tahun belakangan ini, metode-metode ADL2-D ini telah diperkenalkan. Li and Yuan (2005), dan Xiong et. al (2005) memformulasikan gambar berdasarkan perhitungan matriks sebaran dalam kelas dan antar kelas. Metode-metode tersebut tidak merepresentasikan gambar ke dalam vektor sehingga tereduksi secara dimensional ke dalam matriks gambar. Song et. al (2005) dan Yang et. al (2003) menggunakan korelasi kolom demi kolom untuk mereduksi sejumlah kolom. Selanjutnya Yang et. al (2005) memperbaiki dan memberikan suatu algoritma untuk mereduksi bilangan-bilangan pada kolom pertama dan mereduksi bilangan-bilangan-bilangan-bilangan pada baris berikutnya. Metode ini merupakan suatu algoritma dependen. Ye et. al (2005) memperkenalkan suatu ADL2-D independen dengan suatu algoritma solusi iteratif.

Untuk Analisis Diskriminan Linier 2 Dimensi, perbedaan utama antara ADL klasik dan ADL2-D yang peneliti usulkan dalam penelitian ini adalah tentang perwakilan (representasi) data. ADL klasik menggunakan representasi vektor, sedangkan ADL2-D bekerja dengan data dalam representasi matriks. Dalam penggunaan metode ADL2-D akan terlihat bahwa representasi mengarah ke eigen-dekomposisi pada matriks dengan ukuran lebih kecil. Lebih khusus, ADL2-D melibatkan eigen-dekomposisi matriks dengan ukuran r × r dan c × c, yang jauh lebih kecil daripada matriks ADL klasik (Ye et. al, 2005).

Dalam ADL2-D telah disepakati bahwa suatu himpunan gambar disimbolkan dengan X=(X1, X2, ..., Xn), Xi r c . Dengan intuisi yang sama dengan ADL klasik,

ADL2-D mencoba untuk mencari suatu transformasi bilinier

 TX

i i

Y L R (2.15)

sehingga kelas-kelas yang berbeda dipisahkan. Kuncinya adalah bagaimana memilih ruang bagian L dan R berdasarkan matriks sebaran dalam kelas dan antar kelas (Luo et. al, 2007).

(36)

Tidak seperti ADL klasik, ADL2-D menganggap hal berikut (l1×l2) - ruang dimensi L⊗R merupakan perkalian tensor (kronecker product) dua ruang berikut: L direntang oleh 1

{ }u_i l_i_ dan R direntangkan oleh 2

{ }l i

v dan didefinisikan sebagai dua

matriks L =[ ] 1

1 l

u , ..., u _Rr l1_dan _{R =} _[ _]

1 l

v , ..., v _Rc l2_{. Kemudian, himpunan}

gambarXRr c diproyeksikan ke ruang L⊗ Rsehingga hasil proyeksinya adalah LTX R _Rl l12_{(Ye et. al, 2004).}

Kronecker product (perkalian tensor) didefinisikan sebagai: anggapL _Rr l1_,

R_Rc l2 _maka_{Kronecker product (perkalian tensor)} _{L dan}_R_{didefinisikan sebagai}

matriks

11 1

r rl

l R l R

L R

l R l R

 

 

   

 

 

   



LR  RLdan apabila L _Rr l1 _dan_R_Rc l2_{simetris maka} _L_R_simetris

(Horn and Johnson, 1985). Sebagai contoh

11 12

21 22

a a

 

 _ _ dan R maka 11 12

21 22

a R a R

L R

a R a R

 

  _ _

Jika dimisalkan Ai r c , untuk i = 1, 2, …, n adalah gambar (pola) dalam dataset, kemudian masing-masing pola dikelompokkan ke dalam ∏1, ∏2,…, ∏k dimana ∏i memiliki ni gambar (pola). Misalkan

i _x

M X

n 





adalah rata-rata dari kelas ke–i, 1 ≤ i ≤ k , dan

i k

i x

M X

n  



 

berarti rata-rata keseluruhan, dalam 2DLDA, peneliti menganggap gambar sebagai sinyal dua dimensi dan bertujuan untuk menemukan dua matriks transformasi _Lr l1_dan _Rc l2_yang

memetakan setiap anggota Ai r c untuk 1≤ x≤ n, ke suatu matriks Bi l l12 sehingga Bi = LT Ai R.

Sama halnya seperti ADL klasik, ADL2D bertujuan untuk mencari transformasi (proyeksi) optimal L dan R sehingga struktur kelas dari ruang

(37)

berdimensi tinggi yang asli diubah ke ruang berdimensi rendah. Suatu kesamaan metrik alami antara matriks adalah norma Frobenius (Ye, et. al, 2004). Di bawah metrik ini kuadrat jarak dari within-class (dalam kelas) dan between class (antar kelas) dapat dihitung sebagai berikut:

1 i

w i F

i x

D X M

 



 

 , 2

1 k

b i i F

D n M M





 (2.16) trace (M MT)= 2

M , untuk suatu matriks M, maka diperoleh

1 i k

w i F

i x

D trace X M

 

 

 _  _



 

 (2.17)

1 i k

b i F

i x

D trace X M

 

 

   



 

 (2.18)

Dalam ruang berdimensi rendah, hasil dari transformasi linier L dan R, jarak within-class dan between within-class menjadi:









_ 1 i k T T T

w _i _i

i x

D trace L X M RR X M L

 

 

    



 

 (2.19)









_ 1 k T T T

b _i _i _i

D trace n L X M RR X M L



 

 _   _





 (2.20)

Transformasi optimal L dan R akan memaksimumkan

_ b

D dan meminimumkan

_ w

D , oleh karena kesulitan menghitung optimal Ldan R secara simultan, berikut ini adalah algoritma untuk ADL2D. Lebih khususnya, untuk suatu R tetap, kita dapat menghitung optimal L dengan memecahkan permasalahan optimisasi yang sama dengan persamaan (2.14). Dengan menghitung L, kita kemudian dapat memperbaharui R dengan memecahkan masalah optimisasi lain sebagai satu-satunya penyelesaian dalam persamaan (2.14).

(38)

Beberapa notasi penting yang digunakan dalam penelitian ini terdaftar dalam Tabel 2.1 dibawah ini:

Tabel 2.1 Notasi Penting dalam Analisis Diskriminan Linier 2 Dimensi

Perhitungan L

Untuk suatu R tetap,

_ w

D dan

_ b

D dapat ditulis kembali sebagai





T R

w _w

D trace L S L ,





T R

b _b

D trace L S L (2.21)

di mana

1 1

( ) ( ) , ( ) ( )

k k

R T T R T T

w i i b i i i

i X i

S M RR M S n M M RR M M

  



 

X X 



  (2.22)

Sama seperti masalah yang terdapat pada persamaan (2.14), optimal L dapat dihitung dengan memecahkan masalah optimisasi berikut: maxL trace((L S LT wR ) (1 L S LT bR ))

 _.

Penyelesaiannya dapat diperoleh dengan memecahkan masalah generalisasi nilai Notasi Keterangan

N jumlah gambar dalam dataset K jumlah kolom dalam dataset

Ai Gambar ke-i dalam representasi matriks ai gambar ke-i dalam representasi vektor R jumlah baris dalam matriks A

C jumlah kolom dalam matriks A N Dimensi dari ai (N= r * c)

∏j Kelas ke- j dalam dataset

L matriks transformasi (kiri) oleh ADL2D R matriks transformasi (kanan) oleh ADL2D I jumlah iterasi dalam ADL2D

Bi Pereduksian representasi Ai oleh ADL2D l1 jumlah baris dalam Bi

(39)

eigen berikut: S x_wR S x_bR . Karena S_wR secara umum adalah nonsingular, maka L optimum dapat diperoleh dengan menghitung suatu eigen-dekomposisi pada

(S_wR) S_bR. Catatan bahwa ukuran dari matriks R w

S dan R b

S adalah r r (matriks bujursangkar), yang ukurannya lebih kecil dibandingkan ukuran matriks S_wdan

S dalam ADL klasik.

Perhitungan R

Kemudian menghitung R untuk suatu L yang tetap.

_ w

D dan

_ b

D dapat ditulis kembali sebagai





T L

w _w

D trace R S R ,





T L

b _b

D trace R S R (2.23)

di mana

1 1

( ) ( ), ( ) ( )

k k

L T T L T T

w i i b i i i

i X i

S X M LL X M S n M M LL M M

  



 

  



  (2.24)

Sama seperti masalah yang terdapat pada persamaan (2.14), optimal L dapat dihitung dengan memecahkan masalah optimisasi berikut: maxR trace((R S RT wL ) (1 R S RT bL ))

 _.

Penyelesaiannya dapat diperoleh dengan memecahkan masalah generalisasi nilai eigen berikut: S x_wL S x_bL . Karena S_wL secara umum adalah nonsingular, maka R optimum dapat diperoleh dengan menghitung suatu eigen-dekomposisi pada

(S_wR) S_bR. Catatan bahwa ukuran dari matriks S_wL dan S_bL adalah r r (matriks bujursangkar), yang ukurannya lebih kecil dibandingkan ukuran matriks S_wdan

S dalam ADL klasik.

Algoritma 2.2 ADL2D ( A1,…,An,l1, l2) Input: A1,…,An, l1, l2

Output: L, R, B1,…, Bn

1. Hitung rata-rata Mi dari kelas ke-i untuk setiap i sebagai

i x

M X

n 





2. Hitung rata-rata global

i k

i x

M X

n  

(40)

3. 





2 0 ,0 T l R I

4. Untuk j dari 1 sampai I





₁ ₁





1 i k

R T

w i j j i

i x

S X M R R_ _ X M

 



 

 





1 1





k T

R T

b _i i i j j i

S n X M R R_ _ X M







 

6. Hitung eigen vektor l1 pertama { } dari 1₁

l L l i

  (S ) SR -1w Rb

{ L,..., L}

j l

L   









1 i

L T

w i j j i

i x

S X M L L X M

  

 

 









1 k T L T

b _i i i j j i

S 



_ n X M L L X M

9. Menghitung eigen vektor l2 pertama

{_lR} dari l_l_ (S ) SL_w -1 L_b

10.

{ R,..., R}

j l

R   

11. End for

12. LL R_I, R_I

13. B_l L A RT _l , untuk l1, 2,...,n

14. Return (L, R, B1, …,Bn)

(Ye, et.al, 2004)

Namun, dalam ADL2-D kita akan melihat ada suatu masalah keraguan yang sangat mendasar yakni ada dua cara untuk mendefinisikan matriks sebaran dalam kelas S_w

( ) ( )( )

i j k

T T

w j j

j x

S XX M M



 



 

Xi Xi (2.25)

( ) ( ) ( )

i j k

T T

w j j

j x

S X X M M



 



 

Xi Xi (2.26)

dan ada 2 cara untuk mendefinisikan matriks sebaran antar kelas Sb

( ) ( )( )

T T

b j j j

S XX n M M M M





  (2.27)

( ) ( ) ( )

T T

b j j j

S X X n M M M M



(41)

Oleh karena itu, dalam ruang transformasi, dapat dituliskan sebagai ( T), ( T ),

b b

S YY S Y Y ( T), ( T ),

w w

S YY S Y Y

Pada umumnya, gambar tidak bersifat simetris: XiXiT , maka ( T) ( T ),

b b

S YY S Y Y ( T) ( T ),

w w

S YY S Y Y

Karena alasan ini, fungsi objektif ADL menjadi bermakna ganda dan menimbulkan keraguan manakah fungsi objektif yang baik yakni mempunyai sejumlah pilihan sebagai berikut: 1 ( ) tr ( ) T b T w S YY J S YY

 (2.29)

2 ( ) tr ( ) T b T w

S Y Y J

S Y Y

 (2.30)

3 ( ) ( ) tr ( ) ( ) T T b b T T w w

S YY S Y Y

 

 _  _

  (2.31)

4 ( ) ( ) tr , ( ) ( ) T T b b T T w w

S Y Y S YY J

S Y Y S YY

 

 _ _ (2.32)

5 ( ) ( ) tr , ( ) ( ) T T b b T T w w

S YY S Y Y J

S YY S Y Y



 _ (2.33)

dan lain-lain.

2.3.1 Transformasi Bilinier

Suatu transformasi bilinier didefinisikan sebagai:    _ _  , _ _       T i T i T i i X L Y X R

Y (Luo, et.al, 2007) (2.34)

Dengan menggunakan transformasi symmetris ini, matriks sebaran menjadi tunggal dan masalah keraguan yang terdapat dalam ADL2-D dapat diselesaikan.

Kemudian, berikut ini ditunjukkan bahwa transformasi bilinier pada persamaan (2.34) ekivalen ke transformasi linier pada persamaan (2.15):

(42)

 

 _ __{  } _

   

T T

T i

T T

i i

X R X L

X L X R (2.35) maka Yi = LT Xi R.

Pada Fukunaga(1990), matriks Γ didefinisikan sebagai:

1 0 0

0 0



 

 

 

   n

yakni matriks yang diagonal utamanya merupakan nilai varians dari suatu himpunan data dan elemen lain dalam matriks bernilai 0.

(43)

ANALISIS DISKRIMINAN LINIER 2-DIMENSI SIMETRIS

Pada bab ini akan diperlihatkan hasil utama dari penelitian ini. Adapun hasil utama dari tulisan ini yaitu fungsi objektif optimum dan algoritma Analisis Diskriminan Linier 2-Dimensi Simetris serta perbandingannya dengan metode Analisis Diskriminan Linier dan Analisis Diskriminan Linier 2-Dimensi biasa.

3.1 Analisis Diskriminan Linier 2-Dimensi Simetris (ADL2-D Simetris) Telah diutarakan pada bab sebelumnya bahwa pendekatan pengklasifikasian dengan Analisis Diskriminan Linier 2-Dimensi (ADL2-D) menimbulkan masalah keraguan yang mendasar yaitu terdapat dua cara untuk mendefinisikan matriks sebaran dalam-kelas S_w

( ) ( )( )

i j k

w i j i j

j X

S X M X M



 



 

  T

( ) ( ) ( )

i j k

w i j i j

j x

S X M X M



 



 

 

X X

dan terdapat dua cara untuk mendefinisikan matriks sebaran antar-kelas S_b

( ) ( )( )

b j j j

S n M M M M





 

( ) ( ) ( )

b j j j

S n M M M M





 

Oleh karena itu, dalam ruang transformasi dapat dituliskan ( ), ( ),

b b

S YYT S Y YT

( ), ( ),

w w

S T S T

YY Y Y

(44)

( ) ( ),

b b

S YYT S Y YT

( ) ( ),

w w

S T S T

YY Y Y

Karena alasan ini, pemilihan fungsi objektif ADL menimbulkan keraguan manakah fungsi yang paling baik diantara sejumlah pilihan berikut:

1 ( ) tr ( ) b w S J S

 TT

YY YY 2 ( ) tr ( ) b w S J S

 TT

Y Y Y Y 3 ( ) ( ) tr ( ) ( ) b b w w S S J S S    _  _   T T T T

YY Y Y

4 ( ) ( ) tr , ( ) ( ) b b w w S S J S S    _ _ T T T T

Y Y YY

5 ( ) ( ) tr , ( ) ( ) b b w w S S J S S   TT _ TT

YY Y Y

Analisis Diskriminan Linier 2-Dimensi Simetris dalam menyelesaikan masalah ambigu di atas. dimotivasi dengan suatu kunci pengamatan: jika gambar simetris, yakni Xi = XiT , maka

( ) ( ),

w w

S XXT S X XT

(

)

(

).

b b

S

XX



S

X X

Masalah yang terdapat pada metode ADL2-D ini dapat diselesaikan dengan menggunakan suatu representasi data baru yaitu transformasi bilinier simetris

        _ _ _ _   T i T i T i i X L Y

=Γ Γ, Γ =

X R

Pada Fukunaga(1990), matriks Γ didefinisikan sebagai:

1 0 0

0 0                n

(1)

70 80 90 100 110 120 130 140 150

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

A Dl2-D A DL2-D SImetris

Keakuratan

Gambar 3.1 Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi 2 kelas

Untuk k = 3

0.76 0.78 0.8 0.82 0.84 0.86 0.88 0.9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ADL2-D

ADL2-D Simetris

(2)

60 70 80 90 100 110 120 130 140 150

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

A DL2-D A DL2-D Simetris

Keakuratan

Gambar 3.2 Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi 3 kelas

Untuk k = 6

0.76 0.78 0.8 0.82 0.84 0.86 0.88 0.9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

A DL2-D A DL2-D Simetris

(3)

60 65 70 75 80 85 90 95 100 105 110

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

ADL2-D ADL2-D Simetris

Keakuratan

Gambar 3.3 Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi 6 kelas

(4)

Pada bab ini akan diberikan kesimpulan yang diperoleh dari hasil penelitian pada bab sebelumnya. Selanjutnya akan diberikan saran untuk penelitian lebih lanjut.

4.1 Kesimpulan

Masalah keraguan yang terdapat pada fungsi objektif Analisis Diskriminan Linier 2-Dimensi sebelumya dapat diselesaikan dengan pendekatan Analisis Diskriminan Linier 2-Dimensi Simetris yang menghasilkan suatu fungsi objektif lengkap. Sebelum menemukan fungsi tersebut, ADL2-D Simetris mendefinisikan ADL2-D melalui rasio formulasi trase dengan matriks sebaran dalam-kelas (Sw) dan matriks sebaran antar-kelas (Sb) yang lengkap. Fungsi objektif lengkap tersebut ialah

J  

T R T L

b b

T R T L

w w

R S R L S L = tr

R S R L S L

Selain itu, suatu algoritma komputasional efektif diberikan untuk memecahkan fungsi objektif pada ADL2-D Simetris. Jika diaplikasikan pada suatu data berdimensi tinggi, akan terlihat bahwa ADL2-D Simetris memberikan hasil yang lebih baik dan akurat dibandingkan ADL2-D.

Berikut ini adalah algoritma yang dapat diaplikasikan dalam visualisasi komputer untuk mempermudah proses klasifikasi:

Algoritma ADL2-D Simetris dengan menggunakan gradien Input

a) Sekumpulan gambar

 

1 n i

(5)

c) Frekuensi c untuk ortogonalisasi Inisialisasi

a) LL R₀, R₀

b) Hitung Mk, k = 1. 2. .... K dan M

Mkadalah rata-rata tiap kelas sedangkan M adalah rata-rata keseluruhan c) t0

Lakukan

Hitung S_wR, S_wL, S_bR, S_bL J R R R     _ J L L L     _ 1

t t

if ( t mod c ) = 0

eigenvektor dari ( L) L

w b

R S  S

eigenvektor dari ( _wR) _bR

L S  S

endif

Output L, R (Luo, et.al, 2007)

Ukuran langkah  diatur menjadi

1 1

0.02 / di mana m n _ij /

i j

R A A nm

     _  

 

_ _ .

Parameter c digunakan untuk mengontrol frekuensi untuk R S RT _bL , R S RT _wL , L S LT _bR , dan T R

L S L agar hasilnya mendekati suatu matriks diagonal

4.2 Riset Lanjutan

Penelitian ini merupakan salah satu jenis metode analisis diskriminan bilinier. Dibutuhkan penelitian lebih lanjut untuk mengekstraksi fitur dan klasifikasi pola dalam visualisasi komputer dan pelatihan mesin. Tensor yang didasarkan pada ADL dapat digenerasikan menggunakan pendekatan dalam penelitian ini untuk mengatasi masalah analisis diskriminan multi-linier.

(6)

California, USA : Academic Press.

Horn, R. A. and Johnson, C. R. 1985. Matrix Analysis. Cambridge, U.K: Cambridge University Press.

Jain, Anil, K., Fellow, Duin, Robert, P.W., and Jianchang Mao, Jianchang., Senior Member, IEEE. Statistical Pattern Recognition: A Review. In IEEE Transactions On Pattern Analysis and Machine Intelligence, Vol. 22, No. 1, Januari 2000. Li, M. and Yuan, B. 2005. 2d-lda: A novel statistical linear discriminant analysis for

image matrix. Pattern Recognition Letters, 26(5): hal. 527–532.

Luo, D., Ding, C., and Huang, H. 2007. Symmetric Two Dimensional Linear Discriminant Analysis (2DLDA). University of Texas at Arlington Press.

Song, F., Liu, S., and Yang, J. 2005. Orthogonalized fisher discriminant. Pattern Recognition, 38(2): hal. 311–313.

Theodoridis, Sergios. and Koutroumbas, Kontantinos. 2003. Pattern Recognition. 2nd

Edition. New York, USA: Academic Press.

Xiang, Zhang, Pan, Feng, Wang, Wei. 2008. Finding Local Linear Correlation in High Dimensional Data. Correlation Linear, 23(1): hal. 1259-1269.

Xiong, H., Swamy, M., and Ahmad, M. 2005. Two-dimensional fld for face recognition. Pattern Recognition, 38(7): hal. 1121–1124.

Yang, J., Frangi, F., and Zhang, D. 2003. Uncorrelated projection discriminant analysis and its application to face image feature extraction. International Journal of Pattern Recognition and Artificial Intelligence, 17(8): hal. 1325–1347.

Ye, J., Janardan, R., and Li, Q. 2004. Two-Dimensional Linear Discriminant Analysis.

Advances in Neural Information Processing Systems (NIPS 2004), 17: hal. 1569– 1576

Yu, Senhua., and Dasgupta, Dipankar. 2008. Conserved Self Pattern Recognition Algorithm with Novel Detection Strategy Applied to Breast Cancer Diagnosis. Memphis, USA: University of Memphis Press.

http://www.wikipedia.org/html/pattern_recognition.htm. Tanggal akses: 22 Februari 2010.