Analisis Accelerated Learning pada Algoritma Backpropagation Menggunakan Adaptive Learning Rate

  ANALISIS ACCEL BACKPRO

  PROGRA FAKULTAS ILMU U ACCELERATED LEARNING PADA A ROPAGATION MENGGUNAKAN AD

LEARNING RATE

TESIS

OLEH

ERMAWATI

117038021

  ILMU KOMPUTER DAN TEKNOLOG

UNIVERSITAS SUMATERA UTARA

MEDAN

2013

   ALGORITMA ADAPTIVE

GRAM STUDI S2 TEKNIK INFORMA

  MATIKA GI INFORMASI RA

  

ANALISIS ACCEL ACCELERATED LEARNING PADA A ALGORITMA

BACKPRO ROPAGATION MENGGUNAKAN AD ADAPTIVE

LEARNING RATE

TESIS

Diajukan untuk mele elengkapi tugas dan memenuhi syarat memperol eroleh ijazah Magister

Teknik Informatika

  

ERMAWATI

117038021

PR ROGRAM STUDI S2 TEKNIK INFORMATIK

   INFORMASI

UNIVERSITAS SUMATERA UTARA

MEDAN

  

2013

  

PERSETUJUAN

  Judul Tesis : Analisis Accelerated Learning pada Algoritma Backpropagation menggunakan Adaptive Learning Rate. Katagori : Nama Mahasiswa : ERMAWATI Nomor Induk Mahasiswa : 117038021 Program Studi : Magister (S2) Teknik Informatika Fakultas :

  ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA Komisi Pembimbing : Pembimbing 2 Pembimbing 1 Dr. Erna BudhiartiNababan, M. IT Prof. Dr. Herman Mawengkang Diketahui/disetujui oleh Program Studi S2 Teknik Informatika Ketua, Prof. Dr. Muhammad Zarlis Nip. 19570701 198601 1 003

  

PERNYATAAN

  ANALISIS ACCELERATED LEARNING PADA ALGORITMA

  

BACKPROPAGATION MENGGUNAKAN ADAPTIVE

LEARNING RATE

  Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

  Medan, 23 Agustus 2013 Ermawati 117038021

  PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN AKADEMIS Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan dibawahini :

  Nama : ERMAWATI NIM : 117038021 Program Studi : Magister S2 Teknik Informatika Jenis Karya Ilmiah :

  Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Sumatera Utara Hak Royalti Non-Eksklusif Royalti Free Right) atas tesis saya yang berjudul :

  ANALISIS ACCELERATED LEARNING PADA ALGORITMA

  

BACKPROPAGATION MENGGUNAKAN ADAPTIVE

LEARNING RATE

  Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Non Eksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat , mengelola dalam bentuk database, merawat dan mempublikasi tesis saya tanpa meminta izin dari saya selama tetap mencantum nama saya sebagai penulis dan sebagai pemegang dan / atau sebagai pemilik hak cipta. Demikian pernyataan ini dibuat dengan sebenarnya.

  Medan, 23 Agustus 2013 Ermawati 117038021

  Telah diuji pada Tanggal : 23 Agustus 2013 PANITIA PENGUJI TESIS Ketua : Anggota : 1. Prof. Dr. Herman Mawengkang

  2. Dr. Erna BudhiartiNababan, M.IT

  3. Prof. Dr. Muhammad Zarlis

  4. Dr. Marwan Ramli, M.Si

  5. Prof. Dr. OpimSalim Sitompul

RIWAYAT HIDUP DATA PRIBADI

  Nama Lengkap : ERMAWATI Tempat dan Tanggal Lahir : Jeunieb, 05 Agustus 1977 Alamat : Jln. RumohLuengMatangglumpangduaMns.

  DayahKec. PeusanganKab. Bireuen - Aceh Telepon/HP : 085260114405 E-mail : ermaaceh77@gmail.com Instansi Tempat Bekerja : SMK Negeri 1 Peusangan Alamat Kantor : Jln. IrigasiPanteLhong I Peusangan

  Kabupaten Bireuen – Aceh

DATA PENDIDIKAN

  SD : SD Negeri 10 Lhokseumawe TAMAT : tahun 1989 SMP : SMP Negeri 1 Lhokseumawe TAMAT : tahun 1992

  SLTA : SMA Negeri 1 Lhokseumawe TAMAT : tahun 1995 S1 : STMIK Bina Bangsa Lhokseumawe TAMAT : tahun 2004 S2 : Teknik Informatika USU TAMAT : tahun 2013

KATA PENGANTAR

  Puji dan Syukur penulis panjatkan kehadirat Allah SWT berkat limpahan rahmat dan karunia–Nya lah penulis dapat menyelesaikan Tesis ini dengan bimbingan, arahan, kritik dan saran serta bantuan dari pembimbing, pembanding, segenap dosen, rekan-rekan mahasiswa Program Studi Magister (S2) Teknik Informatika Universitas Sumatera Utara.

  Tesis ini diajukan sebagai salah satu syarat untuk memperoleh gelar Magister Komputer pada Program Studi Pascasarjana Magister Teknik Informatika pada Fakultas Ilmu Komputer – Teknologi Informasi Universitas Sumatera Utara.Dengan judul tesis

  

“ Analisis Accelerated Learning Pada Algoritma Backpropagation Menggunakan

Adaptive Learning Rate” . Pada proses penulisan sampai dengan selesainya penulisan

  tesis ini, penulis mengucapkan terima kasih yang sebesar-besarnya kepada :

  selaku Dekan Fakultas Ilmu Komputer dan Teknologi

  1. Prof. Dr. Muhammad Zarlis

  Informasi sekaligus

  Ketua Program Studi Magister (S2) Teknik Informatika, dan M. Andri Budiman, ST, M.Comp.Sc, M.EM selaku Sekretaris Program Studi Magister (S2) Teknik Informatika.

  2. Prof. Dr. Herman Mawengkang dan Dr. Erna Budhiarti Nababan, M.IT selaku pembimbing yang telah membimbing penulis dengan penuh kesabaran hingga selesainya tesis ini dengan baik.

  3. Prof. Dr. Muhammad Zarlis, Prof. Dr. Marwan Ramli, M.Si dan Prof. Dr. Opim Salim Sitompul selaku pembanding yang telah memberikan masukan dan arahan yang baik demi selesainya tesis ini.

  4. Staf pegawai dan administrasi pada Program Studi Magister (S2) Teknik Informatika Program Pascasarjana Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara yang telah memberikan bantuan dan pelayanan terbaik kepada penulis selama mengikuti perkuliahan hingga saat ini.

  5. Rekan mahasiswa/i angkatan ketiga tahun 2011 pada Program Studi Magister (S2) Teknik Informatika Program Pascasarjana Fakultas Ilmu Komputer dan

  Teknologi Informasi Universitas Sumatera Utara yang telah bersama-sama saling membantu selama mengikuti perkuliahan.

  6. Teristimewa untuk keluarga besar khususnya Ibunda serta suami tersayang Fadhlon Kamal dan anak-anakku tercinta Fadhilla Raissa Kamal dan FarisJ abbar Kamal. yang telah bersusah payah mendidik penulis dan memberikan semangat, bantuan moril dan materil ini tidak dapat dibalas hanya diserahkan kepada Allah SWT.

  7. Semua pihak yang tidak dapat penulis sebutkan satu persatu, terima kasih atas bantuan yang telah diberikan kepada penulis selama ini.

  

Dengan segala kekurangan dan kerendahan hati, sekali lagi penulis mengucapkan

terimakasih.Semoga kiranya Allah SWT membalas segala bantuan dan kebaikan yang telah

diberikan.

  Medan, 23 Agustus 2013 Penulis ERMAWATI NIM. 117038021

  

ABSTRAK

  Algoritma backpropagation merupakan multi layer perceptron yang banyak digunakan untuk menyelesaikan persoalan yang luas, namun algoritma backpropagation juga mempunyai keterbatasan yaitu laju konvergensi yang cukup lambat. Pada penelitian ini penulis menambahkan parameter learning rate secara adaptif pada setiap iterasi dan koefisien momentum untuk menghitung proses perubahan bobot. Dari hasil simulasi komputer maka diperoleh perbandingan antara algoritma backpropagation standar dengan backpropagation adaptive learning. Untuk algoritma backpropagation standar kecepatan konvergensi mencapai 1000 epoch dengan nilai MSE yang dihasilkan adalah 0,00044 sedangkan untuk algoritma backpropagation adaptive learning hanya 72 epoch dengan nilai MSE yang dihasilkan 0.0000036. Hal ini menunjukkan bahwa algoritma

  

backpropagation adaptive learning lebih cepat mencapai konvergensi daripada

algoritma backpropagation standar.

  Kata kunci :Backpropagation, Adaptive learning rate, konvergensi

  

ANALYSIS OF ACCELERATED LEARNING IN BACKPROPAGATION

ALGORITHM USING ADAPTIVE LEARNING RATE

ABSTRACT

  Backpropagation algorithm is a multi-layer perceptron which is widely used to solve large problems, but also has limitations backpropagation algorithmis the rate of convergence is quite slow. In this study, the authors add a parameter adaptive learning rate in each iteration and momentum coefficients to calculate the weights change. From the results of the computer simulation for the comparison between the standard back propagationalgorithm with adaptive learning rate backpropagation. For backpropagation algorithm convergence speed reached 1000 epochs with MSE values produced is 0.00036 while the adaptive learning rate backpropagation algorithmis only 72 epochs with MSE values generated 0.0000043. This suggests that adaptive learning rate backpropagation algorithm reaches convergence faster than the standard backpropagation algorithm.

  Keyword :Backpropagation, adaptive learning rate, konvergensi

DAFTAR ISI

  HALAMAN JUDUL i

  PENGESAHAN ii

  PERNYATAAN ORISINALITAS iii

  PERSETUJUAN PUBLIKASI iv

  PANITIA PENGUJI v

  RIWAYAT HIDUP vi

  KATA PENGANTAR vii

  ABSTRAK ix

  ABSTRACT x

  DAFTAR ISI xi

  DAFTAR TABEL xiv

  DAFTAR GAMBAR xv

BAB 1 PENDAHULUAAN

  1

  1.1 Latar Belakang Masalah

  3

  1.2 Perumusan Masalah

  2

  1.3 Batasan Masalah

  3

  1.4 Kerangka Penelitian

  3

  1.5 Tujuan Penelitian

  3

1.6 Manfaat Penelitian

  4 BAB 2 LANDASAN TEORI

  2.1 Kecerdasan Buatan

  5

  2.2 Jaringan Syarat Tiruan

  5

  2.2.1 Fungsi Aktivasi

  6

  2.3 Backpropagation

  12

  2.4 Algoritma Backpropagation

  13

  2.4.1 Fase Propagasi Maju

  14

  2.4.2 Fase Propagasi Mundur

  14

  2.4.3 Fase Modifikasi Bobot

  15

  2.4.4 Prosedur Pelatihan

  15

  2.5 Syarat Parameter

  18

  2.6 Riset Terkait

  19

  2.7 Perbedaan dengan Riset lain

  20

  2.8 Kontribusi Riset

  21 BAB 3 METODOLOGI PENELITIAN

  22

  3.1 Pendahuluan

  22

  3.2 Data Yang Digunakan

  22

  3.3 Rancangan Penelitian

  22

  3.4 Proses Penyelesaian Masalah

  24

  3.4.1 Perancangan Jaringan Backpropagation

  24

  3.4.2 Arsitektur Jaringan

  24

  3.4.3 Desain Tampilan Berbasis GUI

  30

  3.5 Proses Normalisasi

  30

  3.6 Komputasi Backpropagation

  31

  3.6.1 Pelatihan Jaringan

  33

  3.6.2 Pengujian

  34 BAB 4 HASIL DAN PEMBAHASAN

  4.1 Pendahuluan

  35

  4.2 Implementasi Sistem Simulasi

  35

  4.2.1 Pelatihan Data

  36

  4.2.2 Proses Pengujian Data Baru

  37

  4.3 Hasil Uji Coba

  38

  4.3.1 Hasil Normalisasi Data

  38

  4.3.2 Hasil Pelatihan Algoritma Backpropagation Standar

  39

  4.3.3 Hasil Pelatihan Algoritma Backpropagation Adaptive

   Learning

  40

  4.4 Komposisi Parameter Adaptive Learning rate

  41

  4.5 Hasil Pengujian

  43

  4.6 Pembahasan

  43 BAB 5 KESIMPULAN DAN SARAN

  45

  5.1 Kesimpulan

  45

  5.2 Saran

  45 DAFTAR PUSTAKA

  46 LAMPIRAN

  

DAFTAR TABEL

  Hal

Tabel 4.1 Arsitektur JSTBackpropagationstandar dan adaptive

  35

  learning

Tabel 4.2 Tabel Dataset awal yang dinormalisasi

  39

  

DAFTAR GAMBAR

  3.4

  11

  11

  12

  23

  3.2

  3.3

  3.5

  3.1 Fungsi Linear Fungsi threshold Fungsi piece wise Fungsi Siqmoid Desain penelitian

  3.6 Arsitektur yang digunakan Diagram alir algoritma backpropagation adaptive

  learning

  Algoritma backpropagation adaptive learning rate Interface simulasi backpropagation Algoritma proses normalisasi

  26

  28

  29

  30

  11

  2.9

  Nomor Gambar

  7

  Judul Halaman

  1.1

  2.1 Kerangka Kerja Peneltian Struktur Neuron

  3

  6

  2.2 Jaringan satu lapis

  2.3 Jaringan lapis banyak

  2.8

  8

  2.4 Jaringan lapisan kompetitif

  9

  2.5 Proses belajar terbimbing

  10

  2.6

  2.7

  31