PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW DAN ADAPTIVE LEARNING RATE PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK
PENGARUH KOMBINASI DANADAPTIVE SYARAF TIRUAN PENGENALAN PROGRAM STUDI FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI UNIVERSITAS SUMATERA UTARA KOMBINASIALGORITMA NGUYEN WIDROW
DAPTIVELEARNING RATEPADA JARINGA
TIRUANBACKPROPAGATIONUNTUK PENGENALAN KARAKTERALFANUMERIK TESIS ANINDA MULIANI 127038015 PROGRAM STUDI S2 TEKNIK INFORMATIKA FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2014 ALGORITMA NGUYEN WIDROW LEARNING RATEPADA JARINGAN UNTUK ALFANUMERIK TEKNIK INFORMATIKAINFORMASI
PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW DAN ADAPTIVE LEARNING RATE PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK
Diajukan untuk melengkapi tugas dan memenuhi
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Magister Teknik Informatika
syarat memperoleh ijazah
ANINDA MULIANI 127038015 PROGRAM STUDI S2 TEKNIK INFORMATIKA FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA MEDAN 2014 PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK
PROGRAM STUDI S2 TEKNIK INFORMATIKA FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INF UNIVERSITAS SUMATERA UTARA PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW DAN ADAPTIVE LEARNING RATE PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK TESIS
PROGRAM STUDI S2 TEKNIK INFORMATIKA FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
PERSETUJUAN
Judul Tesis : PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW DAN ADAPTIVE LEARNING RATE PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK
Kategori : TESIS Nama Mahasiswa : ANINDA MULIANI Nomor Induk Mahasiswa : 127038015 Program Studi : Magister (S2) Teknik Informatika Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA Komisi Pembimbing : Pembimbing 2, Pembimbing 1, Dr. Erna Budhiarti Nababan, M.IT Prof. Dr. Muhammad Zarlis Diketahui / Disetujui Oleh, Program Studi Magister (S2) Teknik Informatika, Ketua, Prof. Dr. Muhammad Zarlis NIP. 19570701 198601 1 003
PERNYATAAN
PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW DAN ADAPTIVE LEARNING RATE PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK TESIS Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.
Medan, 24 Juli 2014 Aninda Muliani 127038015
PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN AKADEMIS
Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan di bawah ini: Nama : Aninda Muliani NIM : 127038015 Program Studi : Teknik Informatika Jenis Karya Ilmiah : Tesis
Dengan pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Sumatera Utara Hak bebas Royalti Non-Eksklusif (non-Exlusive Royalty
Free Right) atas tesis saya yang berjudul:
PENGARUH KOMBINASI ALGORITMA NGUYEN WIDROW DAN ADAPTIVE LEARNING RATE PADA JARINGAN SYARAF TIRUAN BACKPROPAGATION UNTUK PENGENALAN KARAKTER ALFANUMERIK Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Non- Eksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat, mengelola dalam bentuk data-base, merawat dan mempublikasikan Tesis saya tanpa minta izin dari saya selama tetap mencantumkan nama saya sebagai penulis dan sebagai pemegang dan atau sebagai pemilik hak cipta.
Dengan pernyataan ini dibuat dengan sebenarnya.
Medan, 24 Juli 2014 Aninda Muliani NIM 127038015 Telah diuji pada Tanggal : 24 Juli 2014 PANITIA PENGUJI TESIS Ketua : Prof. Dr. Muhammad Zarlis Anggota : 1. Dr. Erna Budhiarti Nababan, M.IT
2. Prof. Dr. Herman Mawengkang
3. Prof. Dr. Tulus, Vor. Dipl. Math, M.Si
4. Dr. Mahyuddin, M.IT
RIWAYAT HIDUP DATA PRIBADI Nama Lengkap (berikut gelar) : Aninda Muliani, M.Kom Tempat dan Tanggal Lahir : Padangsidimpuan, 29 November 1986 Alamat Rumah : Jl. Surya Haji Komplek Taman Surya
Indah No.3 Medan 20371 Telepon/Faks/HP : 085214910829 E-mail : anindamh@gmail.com Instansi Tempat Bekerja : Politeknik LP3M Alamat Kantor : Jl.Iskandar Muda No. 4-5 Medan
DATA PENDIDIKAN SD : SD Negeri 26 Padangsidempuan TAMAT : 1999 SLTP : MTsN Model Padangsidempuan TAMAT : 2002 SLTA : SMAN 1 Plus Matauli Sibolga TAMAT : 2005 S1 : S1 Teknik Informatika UIN Jakarta TAMAT : 2012 S2 : S2 Teknik Informatika USU TAMAT : 2014
KATA PENGANTAR
Bismillahirrahmanirrohim. Alhamdulillahirobbil’alamin, Puji Syukur penulis panjatkan kehadirat Allah SWT, yang telah melimpahkan rahmat dan hidayahNya, sehingga tesis ini dapat diselesaikan tepat pada waktunya. Penulis mengucapkan ribuan terimakasih kepada:
1. Rektor Universitas Sumatera Utara, Bapak Prof. Dr. dr. Syahril Pasaribu DTM&H, M.Sc (CTM), Sp. A(K) atas kesempatan yang telah diberikan kepada penulis untuk dapat mengikuti dan menyelesaikan pendidikan Program Magister.
2. Dekan Fakultas Ilmu Komputer Universitas Sumatera Utara, Bapak Prof. Dr.
Muhammad Zarlis atas kesempatan yang telah diberikan kepada penulis untuk menjadi mahasiswa Program Magister pada Program Pascasarjana Fasilkom- TI Universitas Sumatera Utara.
3. Ketua Program Studi Magister Teknik Informatika, Bapak Prof. Dr.
Muhammad Zarlis. Sekretaris Program Studi Teknik Informatika, Bapak M. Andri Budiman, ST, M.Comp. Sc, MEM. Beserta seluruh Staf Pengajar Program Studi Magister Teknik Informatika Program Pascasarjana Fakultas Ilmu Komputer Universitas Sumatera Utara.
4. Terimakasih tak terhingga dan penghargaan yang setinggi-tingginya atas bimbingan, pengarahan dan dorongan yang telah diberikan selama penyusunan tesis ini kepada Bapak Prof. Dr. Muhammad Zarlis, selaku Promotor/Pembimbing Utama, demikian juga kepada Ibu Dr. Erna Budhiarti Nababan, M.IT selaku Promotor/Pembimbing Kedua yang dengan penuh kesabaran menuntun dan membimbing penulis hingga selesainya tesis ini dengan baik.
5. Terimakasih yang tak terhingga serta penghargaan setinggi-tingginya juga penulis ucapkan kepada Bapak Prof. Tulus, Vor. Dipl. Math, M.Si, Bapak Prof. Dr. Herman Mawengkang, dan Bapak Dr. Mahyuddin, M.IT sebagai pembanding yang telah memberikan saran dan masukan serta arahan yang baik demi penyelesaian tesis ini.
6. Terimakasih yang tak terhingga juga penulis ucapkan kepada suami dan kedua orangtua serta keluarga besar yang dengan senantiasa mendoakan serta memberikan dukungan penuh hingga tiada mampu penulis untuk membalasnya.
7. Staff Pegawai Pasca Sarjana S2 Teknik Informatika serta rekan mahasiswa/i seangkatan (2012) yang telah banyak membantu penulis selama perkuliahan.
Dan seluruh pihak yang tidak dapat penulis sebutkan satu persatu dalam tesis ini, sekali lagi terima kasih atas segala bantuan dan doa yang telah diberikan.
Dengan penuh kesadaran dan rendah hati, penulis menyadari bahwa penelitian ini masih jauh dari kesempurnaan, hal ini karena keterbatasan, kemampuan, dan pengetahuan penulis. Harapan penulis semoga penelitian ini bermanfaat bagi penulis khususnya dan pembaca pada umumnya. Sekali lagi penulis mengucapkan terimakasih. Semoga kiranya Allah SWT membalas kebaikan yang telah diberikan.
Medan, 24 Juli 2014 Penulis, Aninda Muliani NIM 127038015
ABSTRAK
Jaringan syaraf tiruan backpropagation merupakan metode yang sangat baik dalam proses pengenalan pola mengingat kemampuannya dalam mengadaptasikan kondisi jaringan dengan data yang diberikan dengan proses pembelajaran. Selain itu, backpropagation juga memiliki kemampuan mengurangi error dengan melakukan koreksi bobot secara terus menerus hingga mencapai target maksimal. Namun dibalik kelebihannya tersebut, backpropagation memiliki kelemahan yang sangat menonjol, yaitu membutuhkan waktu yang cukup lama dalam proses pembelajaran. Untuk itu diperlukan sebuah pengembangan metode yang dapat mempercepat proses pembelajaran. Adaptive learning rate dan pembobotan dengan inisialisasi Nguyen- Widrow merupakan kombinasi dua metode yang dapat meningkatkan kecepatan pembelajaran backpropagation. Aplikasi diuji pada 72 citra alfanumerik yang sudah mengalami kerusakan. Hasil pengujian yang dilakukan pada pengenalan citra alfanumerik meningkatkan proses pembelajaran sampai dengan 15 kali lebih cepat (dalam satuan detik), dibandingkan dengan backpropagation biasa, dengan tingkat akurasi maksimum 90%.
Kata kunci : Pengenalan citra, Backpropagation, Adaptive learning rate, Nguyen- Widrow, Kecepatan
THE EFFECT OF NGUYEN WIDROW AND ADAPTIVE LEARNING RATE COMBINATION IN BACKPROPAGATION NEURAL NETWORKS FOR ALPHANUMERIC RECOGNITION ABSTRACT
Backpropagationneural networkis anexcellent methodin pattern recognition process due to it’sability inadaptingnetwork conditions withdata providedthroughthe learningprocess. In addition, the backpropagationcan minimize the network error by performing errorcorrectioncontinuouslyuntil it reaches themaximum target. However, behindtheseadvantages, backpropagationhas the really stands out disadvantage, that it takesa long timein the learning process. So it needsadevelopingmethod thatcanacceleratethe learningprocess. Adaptivelearning rateandweighting byNguyen- Widrow initializationis a combinationof twomethodsthatcanincrease thespeed ofbackpropagationlearning. This method has been tested on 72 brokenimages of alphanumeric. Results ofthe tests improvethe learningprocessup to 15times faster(in seconds), comparedwiththe standardbackpropagation, witha maximumaccuracy rate of90%. Keywords: Image recognition, Backpropagation, Adaptivelearning rate, NguyenWidrow, Speed
DAFTAR ISI Hal.
5
3
1.6. Sistematika Penulisan
3 BAB II LANDASAN TEORI
5
2.1. Citra Digital
5
2.2.1 Grayscaling
2.2.2 Binarization
3
5
2.2.3 Image Thinning
5
2.2. Jaringan Syaraf Biologi
6
2.3. Jaringan Syaraf Tiruan
8
2.3.1 Komponen Jaringan Syaraf Tiruan
1.5. Manfaat Penelitian
1.4. Tujuan Penelitian
HALAMAN JUDUL i
ABSTRACT x
PENGESAHAN ii
PERNYATAAN ORISINALITAS iii
PERSETUJUAN PUBLIKASI iv
PANITIA PENGUJI v
RIWAYAT HIDUP vi
KATA PENGANTAR vii
ABSTRAK ix
DAFTAR ISI xi
2
DAFTAR TABEL xiv
DAFTAR GAMBAR xv BAB I PENDAHULUAN.
1
1.1. Latar Belakang
1
1.2. Perumusan Masalah
2
1.3. Batasan Masalah
9
2.3.2 Bentuk dan Arsitektur Jaringan Syaraf Tiruan
11
2.3.3 Fungsi Aktivasi
13
2.4. Proses Pembelajaran
16
2.4.1. Proses Pembelajaran Terawasi
17
2.4.2. Proses Pembelajaran Tidak Terawasi
18
2.5. Backpropagation
18
2.6. Adaptive Learning Rate
18
2.7. Inisialisasi Pembobotan Nguyen Widrow
19
2.8. Riset-Riset Terkait
20 BAB III METODOLOGI PENELITIAN
22
3.1. Spesifikasi Perangakat Keras dan Perangkat Lunak yang Digunakan
22
3.2. Data yang Digunakan
22
3.3. Pra-Pengolahan Citra
23
3.3.1. Normalisasi (Scaling)
23
3.3.2. Pembentukan Matriks Biner
24
3.3.3. Pembentukan Matriks Tulang
25
3.3.4. Ekstraksi Fitur
27
3.4. Pelatihan Jaringan Menggunakan Nguyen Widrow dan Adaptive Learning Rate
28
3.5. Perancangan Jaringan Propagasi Balik
31
3.5.1. Arsitektur Jaringan Propagasi Balik
31
3.5.2. Algoritma Backpropagation
32 BAB IV HASIL DAN PEMBAHASAN
33
4.1. Hasil Pembobotan dengan metode Nguyen Widrow
33
4.2. Hasil Training data dengan Metode Nguyen Widrowdan Adaptive Learning Rate
34
4.3. Hasil Training data dengan Metode Nguyen Widrow dan Adaptive Learning Rate
36
4.4. Pembahasan
39
4.4.1. Pembobotan Awal
39
4.4.1.1. Pembobotan Awal dengan Cara Random
39
4.4.1.2. Pembobotan Awal dengan metode Nguyen Widrow
42
4.4.2. Pelatihan (Training) Backpropagation
49 BAB V KESIMPULAN DAN SARAN
56
5.1.Kesimpulan 56 5.2.Saran.
56 DAFTAR PUSTAKA
55 LAMPIRAN 1DAFTAR PUBLIKASI ILMIAH PENULIS
57 LAMPIRAN 2 LISTING PROGRAM
58
DAFTAR TABEL Hal.
TABEL 4.1 Hasil Training Data36 TABEL 4.2 Hasil Pengujian Data
37 TABEL 4.3 Contoh pembobotan secara acak
39 TABEL 4.4 Bobot input ke hidden layer (sebelum inisialisasi)
42 TABEL 4.5 Bobot input ke hidden layer sesudah inisialisasi
46
DAFTAR GAMBAR Hal.
24 GAMBAR 3.4 Citra hasil binerisasi
35 GAMBAR 4.3 Proses saat Pengujian
34 GAMBAR 4.2 Proses pada saat training
31 GAMBAR 4.1 Bobot akhir yang disimpan pada saat proses training
30 GAMBAR 3.10 Arsitektur Jaringan
27 GAMBAR 3.9 Diagram alur proses training citra alfanumerik
27 GAMBAR 3.8 Diagram ekstraksi fitur
GAMBAR 3.7 Citra hasil ekstraksi fitur25 GAMBAR 3.6 Pembentukan matriks tulang; a) citra biner, b) citra hasil thinning 26
24 GAMBAR 3.5 Diagram Pembentukan Matriks Biner
23 GAMBAR 3.3 Citra hasil normalisasi; a) citra asal, b) citra hasil normalisasi
GAMBAR 2.1 Neuron Biologis23 GAMBAR 3.2 Tahapanpra-pengolahan citra
15 GAMBAR 3.1 Diagramgaris besar sistem; a) Pelatihan, b) Pengujian
15 GAMBAR 2.9 Fungsi Aktivasi Bipolar (dengan threshold)
14 GAMBAR 2.8 Fungsi Aktivasi Bipolar
14 GAMBAR 2.7 Fungsi Threshold
13 GAMBAR 2.6 Fungsi Undak Biner
12 GAMBAR 2.5 Jaringan Saraf multilayer
10 GAMBAR 2.4 Neuron berinput tunggal
8 GAMBAR 2.3 Struktur neuron jaringan saraf
8 GAMBAR 2.2 Neuron Buatan
37