Analisis Accelerated Learning pada Algoritma Backpropagation Menggunakan Adaptive Learning Rate

ANALISIS ACCEL

BACKPRO

PROGRA

FAKULTAS ILMU

U

ACCELERATED LEARNING PADA A

ROPAGATION MENGGUNAKAN AD

LEARNING RATE

TESIS

OLEH

ERMAWATI

117038021

GRAM STUDI S2 TEKNIK INFORMA

ILMU KOMPUTER DAN TEKNOLOG

UNIVERSITAS SUMATERA UTARA

MEDAN

2013

ALGORITMA

ADAPTIVE

MATIKA

GI INFORMASI

RA

ANALISIS ACCEL

BACKPRO

Diajukan untuk mele

PR FAKULTAS

ACCELERATED LEARNING PADA A

ROPAGATION MENGGUNAKAN AD

LEARNING RATE

TESIS

elengkapi tugas dan memenuhi syarat memperol Teknik Informatika

ERMAWATI

117038021

ROGRAM STUDI S2 TEKNIK INFORMATIK ASI ILMU KOMPUTER DAN TEKNOLOGI IN

UNIVERSITAS SUMATERA UTARA MEDAN

2013

ALGORITMA

ADAPTIVE

eroleh ijazah Magister

IKA

PERSETUJUAN

Judul Tesis : Analisis Accelerated Learning pada Algoritma Backpropagation menggunakan Adaptive Learning Rate.

Katagori :

Nama Mahasiswa : ERMAWATI

Nomor Induk Mahasiswa : 117038021

Program Studi : Magister (S2) Teknik Informatika

Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI

UNIVERSITAS SUMATERA UTARA

Komisi Pembimbing :

Pembimbing 2 Pembimbing 1

Dr. Erna BudhiartiNababan, M. IT Prof. Dr. Herman Mawengkang

Diketahui/disetujui oleh

Program Studi S2 Teknik Informatika Ketua,

Prof. Dr. Muhammad Zarlis Nip. 19570701 198601 1 003

PERNYATAAN

ANALISIS ACCELERATED LEARNING PADA ALGORITMA BACKPROPAGATION MENGGUNAKAN ADAPTIVE

LEARNING RATE

Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan, 23 Agustus 2013

Ermawati 117038021

PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN

AKADEMIS

Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan dibawahini :

Nama : ERMAWATI

NIM : 117038021

Program Studi : Magister S2 Teknik Informatika Jenis Karya Ilmiah :

Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Sumatera Utara Hak Royalti Non-Eksklusif Royalti Free Right) atas tesis saya yang berjudul :

ANALISIS ACCELERATED LEARNING PADA ALGORITMA BACKPROPAGATION MENGGUNAKAN ADAPTIVE

LEARNING RATE

Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Non Eksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat , mengelola dalam bentuk database, merawat dan mempublikasi tesis saya tanpa meminta izin dari saya selama tetap mencantum nama saya sebagai penulis dan sebagai pemegang dan / atau sebagai pemilik hak cipta.

Demikian pernyataan ini dibuat dengan sebenarnya.

Medan, 23 Agustus 2013

Ermawati 117038021

Telah diuji pada

Tanggal : 23 Agustus 2013

PANITIA PENGUJI TESIS

Ketua :

Anggota : 1. Prof. Dr. Herman Mawengkang

2. Dr. Erna BudhiartiNababan, M.IT 3. Prof. Dr. Muhammad Zarlis 4. Dr. Marwan Ramli, M.Si 5. Prof. Dr. OpimSalim Sitompul

RIWAYAT HIDUP

DATA PRIBADI

Nama Lengkap : ERMAWATI

Tempat dan Tanggal Lahir : Jeunieb, 05 Agustus 1977

Alamat : Jln. RumohLuengMatangglumpangduaMns. DayahKec. PeusanganKab. Bireuen - Aceh

Telepon/HP : 085260114405

E-mail : ermaaceh77@gmail.com

Instansi Tempat Bekerja : SMK Negeri 1 Peusangan

Alamat Kantor : Jln. IrigasiPanteLhong I Peusangan Kabupaten Bireuen – Aceh

DATA PENDIDIKAN

SD : SD Negeri 10 Lhokseumawe TAMAT : tahun 1989 SMP : SMP Negeri 1 Lhokseumawe TAMAT : tahun 1992 SLTA : SMA Negeri 1 Lhokseumawe TAMAT : tahun 1995 S1 : STMIK Bina Bangsa Lhokseumawe TAMAT : tahun 2004 S2 : Teknik Informatika USU TAMAT : tahun 2013

KATA PENGANTAR

Puji dan Syukur penulis panjatkan kehadirat Allah SWT berkat limpahan rahmat dan karunia–Nya lah penulis dapat menyelesaikan Tesis ini dengan bimbingan, arahan, kritik dan saran serta bantuan dari pembimbing, pembanding, segenap dosen, rekan-rekan mahasiswa Program Studi Magister (S2) Teknik Informatika Universitas Sumatera Utara.

Tesis ini diajukan sebagai salah satu syarat untuk memperoleh gelar Magister Komputer pada Program Studi Pascasarjana Magister Teknik Informatika pada Fakultas Ilmu Komputer – Teknologi Informasi Universitas Sumatera Utara.Dengan judul tesis “Analisis Accelerated Learning Pada Algoritma Backpropagation Menggunakan Adaptive Learning Rate”. Pada proses penulisan sampai dengan selesainya penulisan tesis ini, penulis mengucapkan terima kasih yang sebesar-besarnya kepada :

1. Prof. Dr. Muhammad Zarlis selaku Dekan Fakultas Ilmu Komputer dan Teknologi Informasi sekaligus Ketua Program Studi Magister (S2) Teknik Informatika, dan M. Andri Budiman, ST, M.Comp.Sc, M.EM selaku Sekretaris Program Studi Magister (S2) Teknik Informatika.

2. Prof. Dr. Herman Mawengkang dan Dr. Erna Budhiarti Nababan, M.IT selaku pembimbing yang telah membimbing penulis dengan penuh kesabaran hingga selesainya tesis ini dengan baik.

3. Prof. Dr. Muhammad Zarlis, Prof. Dr. Marwan Ramli, M.Si dan Prof. Dr. Opim Salim Sitompul selaku pembanding yang telah memberikan masukan dan arahan yang baik demi selesainya tesis ini.

4. Staf pegawai dan administrasi pada Program Studi Magister (S2) Teknik Informatika Program Pascasarjana Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara yang telah memberikan bantuan dan pelayanan terbaik kepada penulis selama mengikuti perkuliahan hingga saat ini. 5. Rekan mahasiswa/i angkatan ketiga tahun 2011 pada Program Studi Magister

Teknologi Informasi Universitas Sumatera Utara yang telah bersama-sama saling membantu selama mengikuti perkuliahan.

6. Teristimewa untuk keluarga besar khususnya Ibunda serta suami tersayang Fadhlon Kamal dan anak-anakku tercinta Fadhilla Raissa Kamal dan FarisJ abbar Kamal. yang telah bersusah payah mendidik penulis dan memberikan semangat, bantuan moril dan materil ini tidak dapat dibalas hanya diserahkan kepada Allah SWT.

7. Semua pihak yang tidak dapat penulis sebutkan satu persatu, terima kasih atas bantuan yang telah diberikan kepada penulis selama ini.

Dengan segala kekurangan dan kerendahan hati, sekali lagi penulis mengucapkan terimakasih.Semoga kiranya Allah SWT membalas segala bantuan dan kebaikan yang telah diberikan.

Medan, 23 Agustus 2013 Penulis

ERMAWATI NIM. 117038021

ABSTRAK

Algoritma backpropagation merupakan multi layer perceptron yang banyak digunakan untuk menyelesaikan persoalan yang luas, namun algoritma backpropagation juga mempunyai keterbatasan yaitu laju konvergensi yang cukup lambat. Pada penelitian ini penulis menambahkan parameter learning rate secara adaptif pada setiap iterasi dan koefisien momentum untuk menghitung proses perubahan bobot. Dari hasil simulasi komputer maka diperoleh perbandingan antara algoritma backpropagation standar dengan backpropagation adaptive learning. Untuk algoritma backpropagation standar kecepatan konvergensi mencapai 1000 epoch dengan nilai MSE yang dihasilkan adalah 0,00044 sedangkan untuk algoritma backpropagation adaptive learning hanya 72 epoch dengan nilai MSE yang dihasilkan 0.0000036. Hal ini menunjukkan bahwa algoritma backpropagation adaptive learning lebih cepat mencapai konvergensi daripada algoritma backpropagation standar.

ANALYSIS OF ACCELERATED LEARNING IN BACKPROPAGATION ALGORITHM USING ADAPTIVE LEARNING RATE

ABSTRACT

Backpropagation algorithm is a multi-layer perceptron which is widely used to solve large problems, but also has limitations backpropagation algorithmis the rate of convergence is quite slow. In this study, the authors add a parameter adaptive learning rate in each iteration and momentum coefficients to calculate the weights change. From the results of the computer simulation for the comparison between the standard back propagationalgorithm with adaptive learning rate backpropagation. For backpropagation algorithm convergence speed reached 1000 epochs with MSE values produced is 0.00036 while the adaptive learning rate backpropagation algorithmis only 72 epochs with MSE values generated 0.0000043. This suggests that adaptive learning rate backpropagation algorithm reaches convergence faster than the standard backpropagation algorithm. Keyword :Backpropagation, adaptive learning rate, konvergensi

DAFTAR ISI

HALAMAN JUDUL i

PENGESAHAN ii

PERNYATAAN ORISINALITAS iii

PERSETUJUAN PUBLIKASI iv

PANITIA PENGUJI v

RIWAYAT HIDUP vi

KATA PENGANTAR vii

ABSTRAK ix

ABSTRACT x

DAFTAR ISI xi

DAFTAR TABEL xiv

DAFTAR GAMBAR xv

BAB 1 PENDAHULUAAN 1

1.1 Latar Belakang Masalah 3

1.2 Perumusan Masalah 2

1.3 Batasan Masalah 3

1.4 Kerangka Penelitian 3

1.5 Tujuan Penelitian 3

1.6 Manfaat Penelitian 4

BAB 2 LANDASAN TEORI

2.1 Kecerdasan Buatan 5

2.2 Jaringan Syarat Tiruan 5

2.2.1 Fungsi Aktivasi 6

2.3 Backpropagation 12

2.4 Algoritma Backpropagation 13

2.4.1 Fase Propagasi Maju 14

2.4.2 Fase Propagasi Mundur 14

2.4.3 Fase Modifikasi Bobot 15

2.5 Syarat Parameter 18

2.6 Riset Terkait 19

2.7 Perbedaan dengan Riset lain 20

2.8 Kontribusi Riset 21

BAB 3 METODOLOGI PENELITIAN 22

3.1 Pendahuluan 22

3.2 Data Yang Digunakan 22

3.3 Rancangan Penelitian 22

3.4 Proses Penyelesaian Masalah 24

3.4.1 Perancangan Jaringan Backpropagation 24

3.4.2 Arsitektur Jaringan 24

3.4.3 Desain Tampilan Berbasis GUI 30

3.5 Proses Normalisasi 30

3.6 Komputasi Backpropagation 31

3.6.1 Pelatihan Jaringan 33

3.6.2 Pengujian 34

BAB 4 HASIL DAN PEMBAHASAN

4.1 Pendahuluan 35

4.2 Implementasi Sistem Simulasi 35

4.2.1 Pelatihan Data 36

4.2.2 Proses Pengujian Data Baru 37

4.3 Hasil Uji Coba 38

4.3.1 Hasil Normalisasi Data 38

4.3.2 Hasil Pelatihan Algoritma Backpropagation Standar 39 4.3.3 Hasil Pelatihan Algoritma Backpropagation Adaptive

Learning 40

4.4 Komposisi Parameter Adaptive Learning rate 41

4.5 Hasil Pengujian 43

BAB 5 KESIMPULAN DAN SARAN 45

5.1 Kesimpulan 45

5.2 Saran 45

DAFTAR PUSTAKA 46

DAFTAR TABEL

Hal Tabel 4.1

Tabel 4.2

Arsitektur JSTBackpropagationstandar dan adaptive learning

Tabel Dataset awal yang dinormalisasi

35

DAFTAR GAMBAR

Nomor Gambar

Judul Halaman

1.1 2.1

Kerangka Kerja Peneltian Struktur Neuron

3 6

2.2 Jaringan satu lapis 7

2.3 Jaringan lapis banyak 8

2.4 Jaringan lapisan kompetitif 9

2.5 Proses belajar terbimbing 10

2.6 2.7 2.8 2.9 3.1 Fungsi Linear Fungsi threshold Fungsi piece wise Fungsi Siqmoid Desain penelitian 11 11 11 12 23 3.2 3.3 3.4 3.5 3.6

Arsitektur yang digunakan

Diagram alir algoritma backpropagation adaptive learning

Algoritma backpropagation adaptive learning rate Interface simulasi backpropagation

Algoritma proses normalisasi

26

28 29 30 31

ABSTRAK

Algoritma backpropagation merupakan multi layer perceptron yang banyak digunakan untuk menyelesaikan persoalan yang luas, namun algoritma backpropagation juga mempunyai keterbatasan yaitu laju konvergensi yang cukup lambat. Pada penelitian ini penulis menambahkan parameter learning rate secara adaptif pada setiap iterasi dan koefisien momentum untuk menghitung proses perubahan bobot. Dari hasil simulasi komputer maka diperoleh perbandingan antara algoritma backpropagation standar dengan backpropagation adaptive learning. Untuk algoritma backpropagation standar kecepatan konvergensi mencapai 1000 epoch dengan nilai MSE yang dihasilkan adalah 0,00044 sedangkan untuk algoritma backpropagation adaptive learning hanya 72 epoch dengan nilai MSE yang dihasilkan 0.0000036. Hal ini menunjukkan bahwa algoritma backpropagation adaptive learning lebih cepat mencapai konvergensi daripada algoritma backpropagation standar.

ANALYSIS OF ACCELERATED LEARNING IN BACKPROPAGATION ALGORITHM USING ADAPTIVE LEARNING RATE

ABSTRACT

Backpropagation algorithm is a multi-layer perceptron which is widely used to solve large problems, but also has limitations backpropagation algorithmis the rate of convergence is quite slow. In this study, the authors add a parameter adaptive learning rate in each iteration and momentum coefficients to calculate the weights change. From the results of the computer simulation for the comparison between the standard back propagationalgorithm with adaptive learning rate backpropagation. For backpropagation algorithm convergence speed reached 1000 epochs with MSE values produced is 0.00036 while the adaptive learning rate backpropagation algorithmis only 72 epochs with MSE values generated 0.0000043. This suggests that adaptive learning rate backpropagation algorithm reaches convergence faster than the standard backpropagation algorithm. Keyword :Backpropagation, adaptive learning rate, konvergensi

BAB 1 PENDAHULUAN

1.1. Latar Belakang

Jaringan Syaraf Tiruan (Artificial neural network) merupakan paradigma komputasi yang menggunakan model sederhana dari sistem biologi syaraf, meskipun secara mendasar mempunyai karakteristik yang sama dengan kegunaan otak manusia. Jaringan syaraf tiruan mempunyai kekuatan sebagai alat memodelkan data yang mampu menggambar dan mempresentasikan hubungan input output secara lengkap.

Backpropagation merupakan algoritma pembelajaran yang terawasi dimana output dari jaringan dibandingkan dengan target yang diharapkan sehingga diperoleh error output, kemudian error ini dipropagasikan balik untuk memperbaiki bobot jaringan dalam rangka meminimasi error.

Multi layer perceptron terdiri dari input layer, hidden layer dan output layer. masing-masing layer terdiri dari node. Banyak model pembelajaran pada menggunakan algoritma backpropagation. Algoritma ini juga berhasil diterapkan pada multi layerperceptronuntuk menyelesaikan persoalan yang luas. Metode backpropagation standar (Gradient Descent) punya keterbatasan yaitu laju konvergensi yang cukup lambat (Hamid et al. 2011). Laju konvergensi dari algoritma backpropagation juga tergantung pada pemilihan arsitektur jaringan, bobot awal dan bias, learning rate, cooefisien momentum dan fungsi aktivasi (Hamid et al. 2011). Oleh karena itu dalam penelitian ini modifikasi dilakukan terhadap backpropagation standar dengan cara mengganti fungsi pelatihannya. Modifikasi yang akan digunakan adalah pemilihan arsitektur yang tepat serta metode yang menggunakan adaptive laju pembelajaran dan momentum. Algoritma ini memiliki performa pelatihan yang tinggi sehingga mempercepat laju konvergensi.

Dalam beberapa dekade terakhir ini, beberapa penelitian telah dilakukan untuk menemukan metode meningkatkan optimasi dan laju konvergensi di dalam algoritma backpropagation berikut ini ; Hamid et al. (2011), meneliti pengaruh dari adaptive gain dan adaptive momentum pada perfoma kinerja backpropagation gradient descent pada klasifikasi data; Zainuddin et al. (2005), melakukan penelitian untuk meningkatkan

konvergensi pada algoritma backpropagation dengan menggunakan adaptive tekhnique; Khan, et al (2008) menyimpulkan bahwa algoritma genetika lebih akurasi pada algoritma backpropagation neural network; Ghosh (2012) memperkenalkan persilangan antara dua jenis supervised pada pembelajaran algoritma backpropagation. Subavathi & Kathirvalavakumar (2011) melakukan penelitian dengan nilai adaptive learning pada hidden layer dan output berdasarkan perbedaan nilai error.

Berdasarkan dari penelitian yang ada tersebut, penulis mencoba untuk melakukan penelitian bagaimana mempercepat pembelajaran pada algoritma backpropagation menggunakan parameter Adaptive learning rate dan koefisien momentum yaitu merupakan dua parameter yang penting dalam algoritma backpropagation karena learning rate digunakan untuk menentukan seberapa cepat jaringan mempelajari pola dari data training. Nilai ini harus dipilih dengan tepat, penentuan laju pembelajaran yang terlalu besar menyebabkan pembelajaran dapat terjadi dengan cepat, tetapi juga dapat menjadi tidak stabil dan bahkan mungkin tidak belajar sama sekali, maupun terlalu kecil akan menyebabkan pelatihan menjadi lambat. Sedangkan koefisien momentum menunjukkan bahwa bobot pada iterasi sebelumnya mempengaruhi bobot sekarang. Tujuan utama dari pengenalan koefisien momentum adalah untuk menurunkan osilasi dari penyesuaian bobot dan untuk mempercepat laju konvergensi dari algoritma Backpropagation.

Penggunaan parameter Adaptive learning rate dan koefisien momentum pada algoritma backpropagation diharapkan dapat menghasilkan percepatan pembelajaranserta hasil pembelajaran yang di akurat.Dari uraian diatas, penulis tertarik untuk mengambil judul “Analisis Accelerated Learning pada Algoritma Backpropagation menggunakan Adaptive learning rate”.

1.2. Perumusan Masalah

Untuk mendapatkan pembelajaran yang stabil, tingkat belajar harus cukup kecil, tetapi tingkat belajar kecil dapat menyebabkan waktu belajar yang panjang dan kecepatan konvergensi lambat. Berdasarkan uraian latar belakang maka penulis mencoba meneliti bagaimana mengatasi perlambatan konvergensi pada algoritma backpropagation dengan menambahkan parameter Accelerated Learning pada algoritma tersebut..

1.3. Batasan Masalah

Rumusan masalah diatas, dibatasi dengan beberapa hal sebagai berikut :

1. Data yang akan digunakan adalah data set blood transfusion service center. 2. Accelarated learning yang digunakan pada algoritma backpropagation

adalah adaptive learning rate dan koefisien momentum.

3. Bahasa pemrograman yang digunakan untuk simulator backpropagation adalah pemrograman Microsoft Visual Basic Net 2012

1.4. Kerangka Kerja Penelitian (Frame Work)

Berikut merupakan kerangka kerja yang digunakan sebagai langkah-langkah dalam penyelesaian permasalahan yang telah diuraikan pada rumusan masalah.

Gambar 1.1. Kerangka Kerja Penelitian

Pemilihan awal penelitian

Merumuskan masalah

Menentukan konsep

Metode penelitian (Studi literatur dan Pustaka)

A_{nalisa dan Perancangan simulasi}

1.5.Tujuan Penelitian

1. Untuk meneliti pengaruh adaptif parameter learning rate dan koefisien momentum pada laju konvergensi.

2. Untuk meningkatkan kinerja dari algoritma konvensional dengan memilih nilai yang optimal untuk learning rate dan koefisien momentum .

1.6. Manfaat penelitian

Manfaat yang diharapkan dari hasil penelitian ini adalah sebagai berikut :

1. Dapat mengetahui sejauh mana penggunaan adaptive learning ratedan koefisien momentum mampu mempercepat pembelajaran pada algoritma backpropagation.

BAB 2

TINJAUAN PUSTAKA

2.1. Kecerdasan Buatan

Bagian dari teknik kompetitif yang lain dari kecerdasan buatan (Sistem pendukung keputusan, Sistem pakar, Komputer vision) seperti fuzzy logic, genetik algorithm sama halnya dengan metode statistik dan analitik, Jaringan syaraf tiruan sangat kuat dalam menyelesaikan masalah kompleks dan masalah non linear. Alasan mengapa JST banyak digunakan karena dapat menunjukkan beberapa keuntungan antara lain pembelajaran yang memperlihatkan beberapa kemampuan dari generalisasi pelatihan data.

2.2. Jaringan Syaraf Tiruan

Jaringan syaraf tiruan salah satu mesin pembelajaran yang sangat terkenal dan telah digunakan secara luas pada berbagai permasalahan, yang melibatkan pembangunan algoritma yang memungkin komputer untuk belajar (Negnevitsky, 2005).

Jaringan syaraf tiruan merupakan suatu sistem informasi yang cara kerjanya memiliki kesamaan tertentu dengan jaringan syaraf biologi (Fausett, 1994). Jaringan syaraf tiruan dikembangkan sebagai model matematis dari syaraf biologis dengan berdasarkan asumsi bahwa :

1. Pemrosesan terjadi pada elemen – elemen sederhana yang disebut neuron. 2. Sinyal penghubungkan antar neuron melalui penghubung

3. Setiap penghubung memiliki bobot yang akan mengalikan sinyal yang lewat. 4. Setiap neuron memiliki fungsi aktivasi yang akan menentukan nilai sinyal

output.

Jaringan syaraf tiruan adalah prosesor yang terdistribusi paralel, terbuat dari unit-unit yang sederhana dan memiliki kemampuan untuk menyimpan pengetahuan yang diperoleh secara eksperimental dan siap pakai untuk berbagai tujuan. Pada jaringan syaraf tiruan terdapat istilah neuron atau lebih dikenal dengan node. Setiap neuron terhubung dengan neuron lainya melalui layer dengan bobot tertentu. Bobot melambangkan informasi yang digunakan jaringan untuk menyelesaikan permasalahan.

Setiap neuron memiliki internal state yang disebut dengan fungsi aktivasi. Fungsi aktivasi merupakan fungsi dari input yang diterima neuron. Satu neuron akan mengirimkan sinyal ke neuron-neuron yang lain (Setiawan, 2003)

Secara sederhana Jaringan syaraf tiruan terdiri dari modul yang saling keterkaitan disebut juga dengan neuron dimana analogi dari syaraf biologi pada otak. Struktur Neuron pada JST digambarkan sebagai berikut :

Gambar 2.1 Struktur Neuron

Sumber : Fausset (1994)

Gambar 2.1 memperlihatkan bahwa jaringan syaraf tiruan terdiri dari satuan-satuan pemroses berupa neuron. Y sebagai output menerima input dari x1, x2, x3,…….xn dengan bobot W1, W2, W3,……..Wn. Hasil penjumlahan seluruh impuls neuron dibandingkan dengan nilai ambang tertentu melalui fungsi aktivasi f setiap neuron.

Sebagaian besar jaringan syaraf melakukan penyeseuain bobot-bobotnya selama proses pelatihan. Pelatihan dapat berupa pelatihan terbimbing (Supervised training) dimana diperlukan pasangan masukan – sasaran untuk tiap pola yang dilatihnya.Jenis kedua adalah pelatihan tak terbimbing (unsurpersived training). Pada metode ini, penyesuaian bobot tidak perlu disertai sasaran. Sebuah jaringan syaraf tiruan mempunyai tiga karakteristik, yaitu :

1. Arsitektur Jaringan

Dalam suatu jaringan neuron – neuron dikelompokkan dalam lapisan – lapisan. Faktor yang akan menentukan keadaan dari suatu neuron adalah fungsi aktivasi dan pola bobotnya. Pada setiap lapisan yang sama, neuron – neuron memiliki fungsi aktivasi yang sama. Setiap neuron pada satu lapisan harus dipetakan tepat ke setiap

neuron pada lapisan berikutnya. Adapun arsitektur dari Jaringan Syaraf tiruan antara lain :

a. Jaringan Satu Lapis (Single layer network)

Pada jaringan satu lapis, hanya memiliki satu lapisan input dan lapisan output. Pada jaringan ini sinyal masukan langsung diolah menjadi sinyal keluaran , tanpa melalui hidden layer seperti contoh yang ditujukkan pada Gambar 2.2. Pada jaringan satu lapis dapat ditambahkan dengan bias yang merupakan bobot koneksi dari unit aktivasinya selalu 1

Gambar 2.2 Jaringan satu lapis

Sumber : Supriyadi (2012)

b. Jaringan Lapis Banyak (multi layer net)

Jaringan lapis banyak terdiri dari satu lapisan input, satu lapisan output dan satu atau lebih hidden layer yang terletak diantara lapisan input dan lapisan output seperti yang ditunjukkan pada gambar 2. 3. Jaringan dengan banyak lapisan dapat dimanfaatkan untuk menyelesaikan permasalahan yang lebih sulit dan kompleks daripada jaringan satu lapis, namun pembelajaran yang lebih rumit dan membutuhkan waktu yang lama. Pada jaringan lapis banyak juga ditambahkan satu buah neuron bias pada tiap lapisan

Gambar 2.3 Jaringan lapis banyak Sumber : Hamid (2011)

Multi layer net juga dikenal setara Multilayer Feedforward Neural Network (MLFNN) adalah salah satu yang banyak digunakan pada model jaringan syaraf tiruan. Oleh karena arsitektur dan perbandingan algoritma yang sederhana (Popescuet al., 2009), dapat juga digunakan sebagai fungsi pembangkit secara menyeluruh, bahkan dapat digunakan untuk jenis aplikasi yang besar

Multi layer perceptron tersusun oleh seperangkat sensor yang dikelompokkan dalam tiga tingkatan lapisan yang terdiri dari input layer, satu atau lebih perantara atau hidden layer dan lapisan output layer yang mengkalkulasikan keluaran dari jaringan. Semua lapisan berurutan terhubung secara lengkap. Hubungan antara modul berbatasan lapisan relay sinyal keluaran dari satu lapisan ke berikutnya. Sebagai contoh, gambar diatas mempunyai 4 vektor dimensi, di ikuti oleh 3 lapisan tersembunyi dan yang terakhir lapisan keluaran dimana terdiri dari 1 modul. Jaringan JSTdisebut dengan sebagai jaringan 4-3-1.

c. Jaringan dengan lapisan kompetitif

Pada lapisan kompetitif hubungan antar neuron tidak diperlihatkan pada diagram arsitektur. Salah satu contoh dari arsitektur jaringan kompetitif diperlihatkan pada 2.8 yang memiliki bobot -µ

Gambar 2.4 Jaringan lapisan kompetitif Sumber :Supriyadi (2012)

2. Konsep Pembelajaran Jaringan Syaraf Tiruan

Sistem Jaringan syaraf tiruan mempunyai ciri utama yaitu kemampuannya untuk belajar dari contoh atau pengalaman terdahulu. Sistem dapat berfungsi dengan baik tanpa dilakukan pembuatan program seperti pada sistem komputer konvensional akan tetapi dengan pelatihan. Fungsi JST ditentukan oleh bobot penghubungnya dan didasarkan pada fungsi masukan keluarannya.

Bobot – bobot koneksi dapat berupa variabel yang ditentukan pada saat perancangan, tetapi juga jaringan yang harus mencari sendiri besarnya bobot – bobot yang sesuai. Proses penyesuaian bobot inilah jaringan syaraf tiruan disebut pross pelatihan. Proses pembelajaran di bagi atas dua yaitu :

a. Proses belajar terbimbing

Algoritma pembelajaran terbimbing memerlukan keluaran / target yang telah diketahui sebelumnya, target sebagai dasar pengubahan bobot. Pada proses pelatihan (Trainning), satu sinyal masukan diberikan kepada satu neuron yang selanjutnya akan diolah dan akan ditampilkan satu keluaran. Nilai keluaran ini akan dibandingkan dengan nilai targetnya. Jika terjadi perbedaan antara output pembelajaran dengan output target maka disini akan timbul error. Untuk mendapatkan nilai keluaran yang sesuai dengan (error yang terjadi kecil), maka harus dilakukan pelatihan berkala. Algoritma pembelajaran terbimbing dapat menyelesaikan persoalan – persoalan yang

terdapat dalam paket belajarnya. Diagram dari konsep belajar terbimbing ditunjukkan pada gambar 2.5

Gambar 2.5 Proses belajar terbimbing

Sumber :Supriyadi (2012)

b. Proses belajar tidak terbimbing (unsupervised learning)

Pada algoritma pembelajaran tak terbimbing, jaringan akan mengubah bobot-bobotnya, sehingga tanggapan terhadap masukan tanpa memerlukan keluaran acuan/ target. Tujuan pembelajaran ini adalah mengelompokkan unit-unit yang hampir sama dalam suatu area tertentu. Pembelajaran ini cocok untuk pengelompokan pola

2.2.1. Fungsi Aktivasi

Fungsi aktivasi yang juga dikenal sebagai fungsi pemindahan adalah fungsi untuk menentukan output dari penjumlahan fungsi dari input bobot pada neuron (Engelbrecht, 2007), fungsi tersebut dapat berbentuk linear dan non linear. Ada beberapa fungsi aktivasi yang sering digunakan dalam syaraf tiruan, antara lain :

a. Fungsi Linear

Fungsi linear menyiapkan output yang seimbang untuk total bobot output

y = f(x) = x (2.1)

b. Fungsi Theshold

Fungsi threshold memetakan bobot input dengan nilai biner [0,1] seperti yang ditunjukkan dengan gambar (2.3) dimana :

y=f(x)= 1 ≥ 0

0 < 0 (2.2)

Gambar 2.7 Fungsi Theshold

c. Fungsi Piecewise Linear

Fungsi piecewise linear dapat juga ruang lingkup biner atau bipolar untuk batas saturasi output. Fungsi output dapat ditulis sebagai berikut :

= = −0.5 < −0.5 − 0.5 ≤ ≤ 0.5

0.5 > 0.5 (2.3)

Gambar 2.8 fungsi Piecewise Linear

d. Fungsi Sigmoid

Fungsi aktivasi yang mempunyai Garis S-shaped dan bentuk distribusi perubahan sigmoid input dimana mempunyai nilai interval [- , ]

Gambar 2.9 Fungsi sigmoid

Fungsi aktivasi adalah salah satu parameter yang terpenting dalam jaringan syaraf tiruan. Fungsi ini tidak hanya untuk penentuan garis, disamping nilai fungsi aktivasi juga menunjukkan jumlah masukan dari node (Engelbrecht, 2007). Oleh karena pemilihan fungsi aktivasi tidak dapat secara sembarangan dipilih sebab sangat besar berdampak pada perfoma jaringan syarat tiruan.

2.3. Backpropagation

Backpropagation (BP) merupakan Jaringan syaraf tiruan multi-layer. Penemuannya mengatasi kelemahan JST dengan layer tunggal yang mengakibatkan perkembangan JST sempat tersendat disekitar tahun 1970.Algoritma BP merupakan generalisasi aturan delta (Widrow-Hoff), yaitu menerapkan metode gradient descent untuk meminimalkan error kuadrat total dari keluaran yang dihitung oleh jaringan.

Salah satu metode pelatihan dalam jaringan syaraf tiruanadalahpelatihan terbimbing (supervised learning). Jaringan syaraf tiruan Backpropagationmerupakan metode yangmenggunakan supervised learning.Padapelatihan terbimbing diperlukan sejumlahmasukan dan target yang berfungsi untukmelatih jaringan hingga diperoleh bobot yangdiinginkan.Pada setiap kali pelatihan, suatu inputdiberikan ke jaringan. Jaringan akan memprosesdan mengeluarkan keluaran. Selisih antarakeluaran jaringan dengan target merupakanerror. Jaringan akanmemodifikasi bobot sesuai dengan errortersebut.

Algoritma pelatihan BackpropagationNeural Network (BPNN) pertama kali dirumuskan oleh werbos dan dipopulerkan oleh Rumelhart&Mc.Clelland. Pada

supervised learning terdapat pasangan data input dan output yang dipakai untuk melatih JST hingga diperoleh bobot penimbang (weight) yang diinginkan.

2.4. Algoritma Backpropagation

Pelatihan algoritma backpropagation meliputi 2 fase yaitu

a. Fasepropagsi maju (feedforward) pola pelatihan masukan. b. Fase propasi mundur (backpropagation) dari error yang terkait. c. Fase modifikasi bobot

PenempatanBackpropagation metode gradient descent berusaha memperkecil error pada jaringan dengan memindahkan kebawah kurva error gradient. Algoritma jenis ini banyak digunakan serta dikombinasikan dengan yang lain dan diterapkan pada banyak aplikasi yang berbeda (alsmadiet al, 2009)

Selama fase maju algoritma ini memetakan nilai masukan untuk mendapatkan keluaran yang diharapkan.Untuk menghasilkan keluaran pola maka didapatkan dari rekapitulasi bobot masukan dan dipetakan untuk fungsi aktivasi jaringan. Keluaran dapat dihitung sebagai berikut

= !" (2.5)

# $%&. = ' ( )*+ + - (2.6)

dengan :

oj : input dari j unit

wij : bobot yang dihubungkan dari unit I ke unit j anet,j : jaringan keluaran untuk j unit

j : bias untuk j unit

Di dalam fase mundur, pola keluaran (aktual output) kemudian dibandingkan dengan keluaran yang dikehendaki dan sinyal error dihitung untuk masing – masing output. Sinyal-sinyal kemudian merambat mundur dari lapisan output ke masing-masing unit dalam lapisan lapisan transisi memberikan kontribusi langsung ke output, dan bobot disesuaikan iterasi selama proses pembelajaran, kemudian error diperkecil selama descent direction. Fungsi error pada outputneuron digambarkan sebagai berikut :

. =_/'0

12 &1− 1 / (2.7)

dengan,

n : angka pada modul keluaran didalam lapisan output tk : keluaran yang dikendaki dari keluaran unit k

ok : keluaran jaringan dari keluaran unit k

2.4.1. Fase Propagasi Maju

Selama propagasi maju, sinyal masukan (x1) dipropagasikan ke layer tersembunyi menggunakan fungsi aktivasi yang ditentukan.Keluaran dari unit tersembuyi (Z1) tersebut selanjutnya dipropagasi maju lagi ke layer tersembunyi berikutnya dengan fungsi aktivasi yang telah ditentukan. Dan seterusnya hingga menghasilkan keluaran jaringan (yk).

Berikutnya, keluaran jaringan (yk) dibandingkan dengan target yang harus dicapai (tk)..Jika erro lebih kecil dari batas toleransi yang ditentukan, maka iterasi dihentikan. Jika error masih lebih besar dari batas toleransi, maka bobot setiap garis dari jaringan akan dimodifikasi untuk mengurangi error.

2.4.2. Fase Propagasi Mundur

Berdasarkan kesalahan tk- ykdihitung faktor k(k= 1, ..., m) yang dipakai untuk mendistribusikan kesalahan di unit Yke semua unit tersembunyi yang terhubung langsung dengan yk. kjuga dipakai untuk mengubah bobot garis yang berhubungan langsung dengan unit keluaran.

Dengan cara yang sama, dihitung faktor jdi setiap layer tersembunyi sebagai dasar perubahan bobot semua garis yang berasal dari unit tersembunyi di layer di bawahnya. Dan seterusnya hingga semua faktor di unit tersembunyi yang terhubung langsung dengan unit masukan.

2.4.3. Fase Modifikasi Bobot

Setelah semua faktor dihitung, bobot semua garis dimodifikasi bersamaan.Perubahan bobot suatu garis didasarkan atas faktor neuron di layer atasnya.Sebagai contoh, perubahan bobot garis yang menuju ke layer keluaran didasarkan atas yang ada di unit keluaran

Ketiga fase tersebut diulang-ulang hingga kondisi penghentian dipenuhi.Umumnya kondisi penghentian yang sering dipakai adalah jumlah interasi atau kesalahan. Iterasi akan dihentikan jika jumlah iterasi yang dilakukan sudah melebihi jumlah maksimum iterasi yang ditetapkan, atau jika error yang terjadi sudah lebih kecil dari batas toleransi yang ditetapkan.

2.4.4. Prosedur Pelatihan

Menurut Fausset (1994) langkah prosedur pelatihan sebagai berikut :

Langkah 0 : Inisialisasi bobot keterhubungan antara neuron dengan menggunakan

bilangan acak kecil (-0.5 sampai +0.5).

Langkah 1 : Kerjakan langkah 2 sampai langkah 9 selama kondisi berhenti yang

ditentukan tidak dipenuhi.

Langkah 2 : Kerjakan langkah 3 sampai langkah 8 untuk setiappasangan pelatihan.

Propagasi maju

Langkah 3 : Setiap unit masukan (xi,i = 1,…., n) menerima sinyal masukan xi,dan

menyebarkannya ke seluruh unit pada lapisan tersembunyi

Langkah 4 : Setiap unit tersembunyi (xi, I = 1,…….,p) jumlahkan bobot sinyal

masukannya :

3_ $5 = 6 5+ '0*2 * 6*5 (2.8)

voj = bias pada unit tersembunyi j aplikasikan fungsi aktivasinya untuk menghilangkan sinyal keluarannya, zj = f (z_inj), dan kirimkan sinyal ini keseluruh unit pada lapisan diatasnya (unit keluaran)

Langkah 5 : tiap unit keluaran (yk, k = 1,…….m) jumlahkanbobot sinyal

masukannya :

(2.9) wok = bias pada unit keluaran k dan aplikasikan fungsi aktivasinya untuk menghitung sinyal keluarannya, yk = f(y_ink)

` Propagasi balik p j jk j k

k wo z w

in y

1 _

Langkah 6 : Tiap unit keluaran (yk, k = 1,…..,m) menerima pola target yang saling berhubungan pada masukan pola pelatihan, hitung kesalahan informasinya,

71 = &1 − 1 ′ *09 (2.10) hitung koreksi bobotnya (digunakan untuk mempengaruhi wjknantinya),

∆(51 = ; 7135 (2.11)

hitung koreksi biasnya (digunakan untuk mempengaruhi woknantinya)

∆( ₁₂ ; 7₁ (2.12) Dankirimkan k ke unit-unit pada lapisan dibawahnya,

Langkah 7 : Setiap unit lapisan tersembunyi (zj, j = 1,…..p) jumlah hasil perubahanmasukannya (dari unit-unit lapisan diatasnya),

7_ $5 = '<12 71(51 (2.13) kalikan dengan turunan fungsi aktivasinya untuk menghitung informasi kesalahannya,

75 = 7_ $5 ′ 3_ $5)

hitung koreksi bobotnya (digunakan untuk memperbaharui vojnanti) (2.15) hitung koreksi bias

(2.16) Langkah 8 : Update bobot dan bias pada hubungan antar lapisan

(2.17)

(2.18) Langkah 9 : Tes kondisi terhenti

Jika stop condition telah terpenuhi, maka pelatihan dapat dihentikan. Ada dua cara yang dapat dilakukan untuk menentukan stopping condition (test kondisi berhenti), yaitu :

Cara 1 : membatasi jumlah iterasi yang ingin dilakukan (satu iterasi merupakan perulangan langkah 3 sampai dengan langkah 8 untuk semua training data yang ada)

Cara 2 : membatasi error, metode yang digunakan adalah Mean

Square Error, untuk menghitung rata – rata antara output

i j ij x v j j vo jk jk

jk baru w lama w

w ( ) ( )

ij ij

ij baru v lama v

yang dikendaki pada training data dengan output yang dihasilkan oleh jaringan.

2.4.5. Prosedur Pengujian

Setelah pelatihan, jaringan syaraf backpropagation diaplikasikan dengan hanya menggunakan tahap perambatan maju dari algoritma pelatihan. Prosedur aplikasinya adalah sebagai berikut :

Langkah 0 : Inisialisasi bobot (dari algoritma pelatihan) Langkah 1 : Untuk tiap vektor masukan, lakukan langkah 2-4 Langkah 2 : = = 1, … … . $ : atur aktivasi unit masukan xi Langkah 3 : = = 1, … . . , @:

3*05 = 6B5 'GDHIC_DEDF (2.18)

352J K_*0F (2.19)

Langkah 4 : _{_DG9} = (_L1+ '0₅₂ 3_{5 MF9} (2.20)

12J N_DG9 (2.21)

Langkah 5 : Jika ₁ ≥ 0,5 O#P# ₁ = 1, %QR% ₁= 0

Adapun notasi – notasi yang digunakan pada algoritma backpropagation adalah ; X Data training untuk input

x = ( x1,…,xi,…,xn )

t Data training untuk output (target/desired output) t = ( t1,…,tk,…,tm )

Learning rate, yaitu parameter yang mengontrol perubahan bobot selama pelatihan. Jika learning rate besar, jaringan semakin cepat belajar, tetapi hasilnya kurang akurat. Learning rate biasanya dipilih antara 0 dan 1 Xi Unit input ke-i. untuk unit input, sinyal yang masuk dan keluar pada

suatu unit dilambangkan dengan variabel yang sama, yaitu xi Zj Hidden unit ke-j. sinyalinput pada Z_jdilambangkan dengan

3

_*0

output (aktivasi) untuk Zj dilambangkan dengan zj Voj Bias untuk hidden unit ke-j

Vij Bobot antara unit input ke-i dan hidden unit ke-j

Yk Unit output ke-k. sinyalinput ke Y_k dilambangkan _*0

9

.

Sinyal output (aktivasi) untuk Yk dilambangkan dengan yk

Wok Bias untuk unit output ke-k

Wjk Bobot antara hidden unit ke-j dan unit output ke-k k Faktor koreksi error untuk bobot Wjk

j Faktor koreksi error untuk bobot Vij

2.5. Syarat Parameter

Backpropagation menggunakan dua parameter yaitu learning rate dan momentum coefficient. Kedua parameter tersebut digunakan untuk mengawasi perubahan bobot selama arah turunan paling terjal dan untuk mematikan osilasi (Zweiriet al, 2003).

a. Learning rate

Learning rate salah satu yang paling efektif untuk mempercepat converge dari pembelajaran Backpropagation dimana nilai yang diberikan antara 0,1 . ini adalah yang sangat penting untuk mengawasi variabel neuron perubahan bobot untuk masing iterasi selama proses pelatihan dan oleh sebab itu mempengaruhi laju converge. Kenyataan kecepatan converge sangat berpengaruh pada pemilihan nilai learning rate.

Learning rate juga menjadi pertimbangan penting dalam kinerja jaringan saraf yang ditentukan oleh bagaimana kita merubah bobot-bobot ‘w’ pada tiap langkah, jika learning rate terlalu kecil algoritma akan memakan waktu lama menuju konvergen, dan sebaliknya jika learning rate terlalu besar maka algoritma menjadi divergen.

b. Momentum coeffisiens

Satu lagi pendekatan yang efektif terhadap percepatan konvergensi dan stabilitas langkah pembelajaran dengan menambahkan beberapa koefisien momentum pada jaringan. Nilai koefisien momentum yang biasa digunakan dalam interval 0,1. Penambahan parameter momentum coeffisiens dapat membantu jaringan keluar dari lokal minimal.

Dengan momentum m, bobot diperbaharui pada waktu t yang diberikan menjadi. Dimana 0 < m < 1 adalah sebuah parameter global baru yang harus ditentukan secara trial dan error. Momentum ini menambahkan sebuah perkalian dengan bobot sebelumnya pada bobot saat ini. Pada saat gradient tidak terlalu banyak bergerak, ini akan meningkatkan ukuran langkah yang diambil menuju nilaiminimum.

2.6. Riset Terkait

Hamed et al. (2008) untuk mengatasi masalah local minimal dengan membandingkan penggunakan algoritma genetika untuk menentukan nilai yang optimal untuk mendapatkan parameter yang tepat seperti laju pembelajaran dan momentum serta pengoptimuman bobot. Selain itu juga meggunakan teknik pengoptimun yaitu algoritma Particle Swarm Optimization (PSO) dan diterapkan pada aplikasi Backpropagation untuk mempercepat proses pembelajaran dan klasifikasi yang akurat.

Adapun langkah yan digunakan adalah : a. Perubahan NN menggunakan PSO

1. Menentukan pola pelatihan 2. menentukan arsitektur NN

3. Menentukan NN dan parameter PSO 4. Mulai pelatihan

5. Perubahan bobot menggunakan PSO b. Perubahan NN Menggunakan GA

1. Menentukan pola pelatihan 2. Menentukan Arsitektur NN 3. Menjalankan Genetik Algoritms

4. Menerapkan Keluaran Genetik Algoritms untuk BPNN 5. Mulai pelatihan

c. kedua output dibandingkan dan dianalisis

Hamid et al. (2011) mengajukan modifikasi yang baru pada pembelajaran algoritma backpropagation dengan memperkenalkan Adaptive gain together dengan adaptive momentum dan adaptive learning rate ke dalam proses perubahan bobot, dengan simulasi komputer menunjukkan bahwa dianjurkan algoritma tersebut yang

memberikan converge rate yang lebih baik dan mendapatkan solusi yang baik untuk perbandingan waktu dibandingkan dengan backpropapagation konvensional.

Ernest & Tony (2011) meneliti algoritma momentum windowed dimana meningkatkan kecepatan diatas standar momentum. Momentum windowed dirancang untuk menetapkan lebarnya bobot yang lalu dengan bobot yang baru di update pada masing-masing koneksi Neural Network. Momentum windowed memberikan kecepatan yang signifikan pada serangkaian aplikasi yang sama atau tingkat keakuratan.

2.7. Perbedaan dengan riset yang Lain

Berdasarkan riset yang telah dilakukan, peneliti membuat beberapa perbedaan dalam penelitian ini, yaitu;

1. Untuk mengatasi lambatnya konvergensi pada algoritma backpropagation menggunakan parameter Acelarated adaptive learning rate dan Momentum coeffisien.

2. Data yang digunakan data set dari Data Benmark yaitu Blood Transfusion Service Center tahun 2007, di mana akan dibagi menjadi dua dataset training dan dataset testing.

2.8. Kontribusi Riset

Dalam penelitian ini, diharapkan akan didapatkan parameter yang tepat untuk mempercepat pembelajaran pada Backpropagation sehingga penggunaan algoritma backpropagation pada permasalahan lain akan lebih mudah.

BAB 3

METODOLOGI PENELITIAN

3.1 Pendahuluan

Pada jaringan syaraf tiruan backpropagation, percepatan konvergensi merupakan hal yang sangat penting diharapkan pemberian parameter adaptive learning rate dan koefisien momentum untuk pembelajaran dapat memberikan optimasi pada jaringan. Berdasarkan uraian diatas, maka tujuan penelitian ini adalah menganalisis accelerated learning dengan parameter adaptive learning rate.

3.2 Data Yang Digunakan

Dalam melakukan penelitian ini, penulis membutuhkan data input dalam proses jaringan syaraf tiruan backpropagation. Data tersebut akan digunakan sebagai data pelatihan dan juga data pengujian. Data yang digunakan dalam proses ini adalah sebagai berikut :

1. Data yang digunakan adalah dataset blood transfusion service center yang diperoleh dari UCI Data;

2. Banyak data yang digunakan adalah 50 sampel data.

Berdasarkan data yang ada, data yang akan digunakan untuk penelitian ini mempunyai atribut : Recency, Frequency, Monetary dan Time.

3.3 Rancangan Penelitian

Pada penelitian ini akan dilakukan beberapa langkah untuk mencapai tujuan penelitian. Langkah – langkah tersebut dapat digambarkan melalui diagram alir pada gambar 3.1. Penelitian ini dimulai dari pengumpulan data dan prosespre prossesing data. Tahap berikutnya adalah penentuan desain arsitektur jaringan dengan penentuan pola masukan dan keluaran untuk keperluan pelatihan dan pengujian pada jaringan syaraf tiruan (JST) Tahap ini kemudian diikuti dengan penentuan algoritma pelatihan.

Selanjutnya adalah tahap pelatihan terhadap data yang telah dinormalisasi dan ditentukan arsitekturnya, pelatihan dilakukan pertama untuk algoritma backpropagation standar , setelah itu baru dilakukan kembali pelatihan dengan menambahkan learning

rate dan kooefisien momentum pada update bobot. Tujuan pelatihan tersebut untuk membandingkan nilai epoch dan penentuan nilai Mean Square Error (MSE). Setelah dilakukan tahap pelatihan adalah tahap pengujian terhadap data pengujian, tujuannya untuk mengetahui tingkat validasi hasil.

3.4 Proses Penyelesaian Masalah

3.4.1 Perancangan Jaringan Backpropagation

Jaringan syaraf tiruan backpropagation tersusun atas beberapa lapisan, dimana masing – masing lapisan terdiri dari beberapa unit pengolahan data. Pada penelitian ini, arsitektur jaringan yang digunakan terdiri dari tiga lapisan, yaitu satu lapisan masukan (input), satu lapisan tersembunyi (hidden) dan satu lapisan keluaran (output).

Data yang berfungsi sebagai masukan dan keluaran yang diperoleh dari penelitian dibagi menjadi dua kelompok besar, yaitu data untuk proses pelatihan dan data untuk pengujian. Tergolong sebagai masukan dan target adalah 50 set data, dijadikan sebagai matriks dengan ukuran 5 x 50 untuk data pelatihan dan 15 set data digunakan sebagai data pengujian dengan ukuran matriks 5 x 15. Data pelatihan dan pengujian telah diolah (dinormalisasi) dalam bentuk numerik antara 0 dan 1. Lapisan input terdiri dari empat variabel (X1,X2,X3,X4) yang masing-masingnya terdiri dari 50 data.Jumlah lapisan tersembunyi yang digunakan adalah satu, dengan jumlah neuron yang digunakan adalah empat. Fungsi aktivasi yang digunakan adalah fungsi sigmoid dengan ukuran rentang nilai 0 dan 1.

3.4.2 Arsitektur Jaringan

Dalam mendesain simulasi jaringan syarat tiruan meliputi beberapa tingkatan yaitu :.

1. TingkatNeuron

Pada simulasi ini menggunakan variabel input berdasarkan data yang diperolah dari Data UCI. Data yang diperoleh mengunakan data yang berupa bilangan real. Data tersebut kemudian di normalisasi. Sedangkan untuk outputnya adalah nilai kondisi yang direpresetansi dengan bilangan biner 0 untuk kondisi layak untuk di donor dan 1 untuk nilai kondisi tidak layak di donor. Fungsi aktivasi yang akan digunakan aktivasi sigmoid biner dengan alasan bahwa fungsi aktivasi yang palingstandar digunakan untuk jaringan syaraf tiruan backpropagation.

2. Tingkat Jaringan

Pada tingkat jaringan dilakukan penentuan banyaknya lapisan. JST Backpropagation dinyatakan sebagai jaringan multilayer dimana jaringan memiliki hidden layer yang berjumlah satu. Jaringan syarat tiruan tersebut hanya akan menerima input berkisar antara 0 sampai dengan 1 sehingga data penelitian harus diatur sebagai sekumpulan angka agar mempermudah proses komputasi.

3. Tingkat Pelatihan.

Rancangan jumlah neuron pada JST Backpropagation untuk simulasi : a. Jumlah neuron lapisan input sebanyak 4 neuron

b. Jumlah lapisan hidden layer sebanyak 4 neuron c. Jumlah lapisan output terdiri atas satu neuron.

JST Backpropagation diterapkan untuk mendapatkan kesetimbangan antara kemampuan memorisasi dan kemampuan menggeneralisasi maka untuk melanjutkan proses pelatihan sampai nilai errornya mencapai nilai minimum. Oleh sebab itu nilai error yang dapat diterima jaringan atau yang disering disebut galat error harus ditentukan terlebih dahulu dengan tujuan untuk menghentikan pelatihan. Apabila error jaringan lebih kecil atau sama dengan nilai galat error yang telah ditentukan tersebut. Pada simulasi ini nilai batas error yang direncanakan akan digunakan sebesar 0,01. Nilai batas error yang dipilih yang bernilai kecil untuk tetap menjaga keakuratan hasil yang diperoleh.

Gambar 3.2 Arsitektur jaringan yang digunakan

Keterangan gambar 3.2 :

Dataset : Dataset yang digunakan blood transfusion service X1, X2,X3,X4 : Masukkan data Input (1 – 50 data)

Z1,Z2,Z3,Z4 : Jumlah neuron pada hidden layer V11,V12 : Bobot pada lapisan tersembunyi W1k, W2k, W3k,Wjk : Bobot matrik pada lapisan keluaran

Y0 : Keluaran hasil

Arsitektur jaringan yang dipilih yaitu dengan jaringan yang kecil dengan satu hidden layer. Tiap neuron pada lapisan masukan menerima sinyal masukan berupa nilai X1 s.d X4 dan meneruskannya ke neuron pada hidden layer diatasnya. Jumlah neuron pada lapisan masukan sesuai dengan variabel yang dipilih sebagai masukan jaringan dan ditambah satu buah neuron bias.

Bobot dan bias awal diinisialisasi dengan bilangan acak kecil antara -1 hingga 1. Bobot awal akan mempengaruhi titik minimum lokal atau minimum global dan lama konvergensinya. Bobot awal yang terlalu besar membuat nilai turunan fungsi aktivasi menjadi kecil, hal ini menyebabkan perubahan bobotnya menjadi sangat kecil juga

Hal lain yang diperlukan juga adalah parameter yang diatur dalam jaringan meliputi :

a. Laju pembelajaran

Laju pembelajaran yang dipilih mulai dari 0,1 dan digeneratekan secara acak

b. Momentum

Konstanta momentum berupa bilangan positif antara 0 hingga 1 c. Jumlah iterasi maksimum

Maksimum iterasi adalah jumlahepoch maksimum yang boleh dilakukan selama proses pelatihan. Iterasi akan berhenti apabila jumlah epoch yang sudah dilatihkan melebihi jumlah maksimum epoch.

Pada proses pelatihan algoritma backpropagation adaptive learning maka di gambarkan dengan diagram alir pada gambar 3.3.

untuk pelatihan algoritma backpropagation dengan adaptive learning rate dan koefisien momentum di jelaskan dengan pseducode pada gambar 3.4

Desain tampilan simulasi

Gambar 3.4 Algoritma backpropagation adaptive learning

DECLARE wjk_sebelum[] AS ARRAY DECLARE wjk_baru[] AS ARRAY DECLARE jumlah_baris_data AS INT SET epoch_max = 1000

SET error_max = 0,1 READ jumlah_baris_data FOR j = 0 to j = epoch_max

FOR i = 0 to i = jumlah_baris_data

Wjk_baru[i]=wjk[i] + learning rate * δk * zj + μ(wjk[i] - wjk_sebelum[i]) END FOR

CLEAR wjk_sebelum[]

SET wjk_sebelum[] CLONE AS wjk[] CLEAR wjk[]

SET wjk[] CLONE from Wjk_baru[] CLEAR Wjk_baru[]

IF error <= error_max THEN EXIT FOR

END IF END FOR

adaptive learning rate

IfMSE>SumMSE_maxThen

Learning rate = learning rate* 0.7

Else

learning rate = learning rate * 1.05

EndIf End

3.3.3 Desain Tam Pada simu (Grafik User In berinteraksi. Pad pengujian data, b

Ga

3.5 Proses Normalisas Sebelum digunakan un harga-harga masukan suatu range tertentu y masukan dan target d memiliki mean = 0 dan digunakan adalah berda S = TD

TUV

Tampilan Berbasis GUI

ulasi backpropagation tampilan yang diran Interface) sebagai pengganti tampilan tek ada simulasi backpropagation terdiri dari Ta , berikut bentuk interface tampilannya :

Gambar 3.5 Interface simulasi backpropagatio

isasi

untuk proses pelatihan, maka perlu dilakukan sedemikian hingga data-data masukan dan yang disebut preprocessing atau normalisa t dinormalisasi dengan membawa data ke dan deviasi standard = 1. Pada simulasi ini me

rdasarkan rumus (Supriyadi, 2012)

ancang berbentuk GUI teks untuk user dapat Tampilan Pelatihan dan

tion

an pengkalaan terhadap n tersebut masuk dalam isasi data. Runtun data e bentuk normal yang etode normalisasi yang

Ai merupakan bilangan ke-I dan Amax merupakan bilangan maksimum dalam

suatu N (data) bilangan masukan serta Ai’ merupakan bilangan baru ke-I yang telah dilakukan proses normalisasi, Algoritma normalisasi dapat dilihat pada gambar 3.6.

Gambar 3.6 Algoritma proses normalisasi

Tujuan utama normalisasi adalah agar terjadi sikronisasi data, disamping itu juga untuk memudahkan dalam proses komputasi. Hasil dari normalisasi adalah sekumpulan bilangan yang berkisar antara 0 dan 1.Dengan meggunakan persamaan (3.1) .

3.6 Komputasi Backpropagation

pada bagian ini proses dari jaringan syarat tiruanbackpropagationsemua rumus dari algoritma backpropagation pada bab 2. sedangkan nilai awal dari penimbang / pembobot adalah berkisar antara -0,5 sampai 0,5. Nilai pembobot awal tidak boleh terlalu besar karena nilai turunan aktivasinya menjadi sangat kecil juga. Akan tetapi pada fase perubahan bobot berdasarkan learning rate dan koefisien momentum dengan rumusan yang tercantum pada persamaan (3.2) dan (3.3).

Proses – proses yang dilakukan pada algoritma JST Backpropagation Standar rmeliputi : 1. Inisialisasi Bobot dan bias

seluruh bobot dan bias diset ke dalam bilangan acak yang kecil

a. Bobot – bobot antara lapisan input dengan hidden layer disebut Vij sejumlah 4 x m dengan i=1,…,n dan m=1,….n

maxi1AsInteger = x1.Max

inisialisasi maxi2AsInteger = x2.Max

inisialisasi maxi3AsInteger = x3.Max

inisialisasi maxi4AsInteger = x4.Max

ulangi pembacaan mencari nilai tertinggi dari baris

normalX1.Add(x1(i) / maxi1) normalX2.Add(x2(i) / maxi2) normalX3.Add(x3(i) / maxi3) normalX4.Add(x4(i) / maxi4)

Next

b. Bobot – bobot bias antara lapisan input dengan hidden layer disebut Voj sejumlah 1 x 1

c. Bobot –bobot antara hidden layer pada lapisan output disebut Wjk d. Bobot – bobot bias antara hidden layer pertama dengan lapisan output

disebut W0 sejumlah 1 buah. 2. Penentuan kondisi berhenti

Pelatihan jaringan akan berhenti jika informasi error jaringan <= Target error.

3. Set pelatihan sebanyak 50 data akan menjalani tahap – tahap sebagai berikut : a. umpan Maju

b. ErrorBackpropagation c. Perubahan bobot

Proses – proses yang dilakukan padaJST Backpropagation gradient descent adaptive learning rate meliputi :

1. Inisialisasi bobot sama dengan langkah pada algoritma backpropagation standar.

2. Inisialisasi parameter untuk mempercepat pembelajaran (accelerated learning) pada pelatihan meliputi learning rate dan koefisien momentum. 3. Penentuan kondisi berhenti

Pelatihan jaringan akan berhenti jika informasi error jaringan <= Target error.

4. Set pelatihan menggunakan data yang sama dengan mengubah perhitungan pada perubahan bobot dengan menggunakan persamaan (Supriyadi , 2012) :

W P & + 1 = W P & + ;. 7P. X + Y W P & − W P & − 1 (3.2) Z & + 1 = Z & + ;. 7P. X + Y Z & − Z & − 1 (3.3)

5. Mean Square Error (MSE)

Kesalahan pada output jaringan merupakan selisih antara keluaran sebenarnya dengan keluaran yang diinginkan. Selisih yang dihasilkan antara keduanya biasanya ditentukan dengan cara dihitung menggunakan suatu persamaan

[\. = _{0 ]L^_}' `P − aP / _(3.4)

Keterangan :

Tk = Target pada output unit k Yk = Keluaran pada output unit k n = Jumlah data

6. Bandingkan kinerja jaringan

7. Jika nilai kuadrat error> kuadrat error standar, nilai learning rate dikalikan 0,7

8. Jika nilai kuadrat error> kuadrat error standar, nilai learning rate dikalikan 1.05

3.6.1 Pelatihan Jaringan

Pelatihan 1, Mencari error yang dan iterasi yang dihasilkan dari algoritma backpropagation standar. Tujuan dari langkah ini menghasilkan kinerja selama proses pelatihan, ditunjukkan dengan error dan epoch yang dihasilkan.

Pelatihan 2, Mencari error yang dan iterasi yang dihasilkan dari algoritma backpropagation adaptive learning rate, dengan penambahan nilai learning rate yang di adaptivkan pada setiap iterasi dan koefisien momentum terhadap unjuk kerja jaringan yang dinyatakan dengan besar kecilnya error selama proses pelatihan dan banyaknya iterasi yang dihasilkan. Tujuan dari langkah ini untuk memperoleh nilai learning rate yang optimal. Dengan memakai arsitektur jaringan yang sama dengan pada langkah pelatihan 1 maka akan diamati pengaruh learning rate dan koefisien momentum terhadap unjuk kerja jaringan yaitu proses pelatihan.

3.6.2 Pengujian

Jaringan yang telah dilatih mencapai hasil perlu diuji untuk mengetahui kemampuannya pada saat mempelajari data latih yang diberikan, pengujian dapat dilakukan dengan menggunakan data set yang belum pernah dilatihkan sebelum melihat tingkat akurasi sistem yang dibuat, yaitu menggunakan data uji sebanyak 15 pasangan data.

Setelah dilakukan pelatihan maka langkah berikutnya adalah mengukur kinerja dari suatu JST dengan melihat error hasil pelatihan, pengujian terhadap sekumpulan data masukan baru. Hasil pelatihan dan pengajian dapat dianalisis dengan mengamati ketepatan akurasi antara target dengan keluaran jaringan. Pada Proses validasi, sistem diuji dengan data lain, hal ini dimaksud untuk mengetahui sejauh mana sistm dapat menginformasikan nilai – nilai keluaran dari nilai – nilai masukan yang berikan. Persamaan (3.2) digunakan untuk memvalidasikan sistem JST :

BAB 4

HASIL DAN PEMBAHASAN

4.1 Pendahuluan

Pada bab ini, penulis melakukan penelitian yang terfokus pada percepatan pembelajaran (accelerated learning) dengan melihat dari hasil jumlah iterasi pada pelatihan data blood transfusion service center. Simulasi dibangun menggunakan komputer Pentium IV Prosesor, dual core. 1.86 GHz. RAM, 2GB.VGA, 1 GB dan menggunakan bahasa pemrograman visual basic net 2012.pada masalah ini ada 2 algoritma yang disimulasikan dan dianalisis yaitu backpropagation standar pada pelatihan 1 dan backpropagation adaptive learning dan pada pelatihan 2.

Tabel 4.1 Arsitektur JST Backpropagation standar dan adaptive learning

Karakteristik Spesifikasi

Arsitektur 1 lapisan tersembunyi

Neuron input 4

Neuron hidden 4

Neuron output 1

Fungsi aktivasi Sigmoid biner

Inisialisasi bobot Random

Target error 0.01

Maksimum epoch 1000

4.2 Implementasi Sist Proses pelatihan dan pemrograman visual b algoritma backpropaga

Adapun tampilan

Dalam simulasi backpropagation grad backpropagation conv modif.

istem Simulasi

n pengujian data dalam penelitian ini dira l basic net 2012 sehingga akan memudahkan

gation.

lan simulasi seperti terlihat pada gambar 4.4 ber

Gambar 4.1 Tampilan Simulasi Backpropag

si ini ada dua metode pelatihan yang digu radient descent pada tombol training st

nvensional dengan adaptive learning rate

irancang menggunakan kan dalam mensimulasi

berikut ini:

agation

igunakan yaitu metode standar dan metode pada tombol training

4.2.1 Pelatihan Data

Pada form simulasi untuk melatih data set menggunakan algoritma backpropagation gradient descent ada beberapa langkah dilakukan, yaitu :

1. Browse dataset yang tersimpan

2. Masukkan nilai semua bobot awal antara -0,5 samapai dengan 0.5 3. Masukkan nilai alpha

4. Tentukan target error 5. Tentukan maksimum iterasi

6. Jika seluruh data telah di masukan klik tombol Trainning Standar dan perhatikan grafik sampai konvergen atau maksimal epoch terpenuhi serta error yang dihasilkan.

Sedangkan pada form simulasi untuk melatih dataset menggunakan algoritma backpropagation adaptive learning rate ada beberapa langkah dilakukan, yaitu :

1. Browse dataset yang tersimpan

2. Masukkan nilai semua bobot awal antara -0,5 samapai dengan 0.5 3. Masukkan nilai alpha

4. Tentukan target error

5. Tambahkan parameter dengan menentukan learning rate dan momentum

6. Tentukan maksimum iterasi

7. Jika seluruh data telah di masukan klik tombol TrainningModif dan perhatikan grafik sampai konvergen atau maksimal epoch terpenuhi serta error yang dihasilkan.

4.2.2 Proses Pengujian Data Baru

Setelah proses pelatihan dataset selesai, kemudian jaringan di ujikan dengan menggunakan data baru yang belum pernah dilatihkan. berikut langkah – langkah proses pengujian data baru.

1. Lakukan proses Trainning Standar dan TrainningModif 2. Kliktombol pengujian

4.3 Hasil Uji Coba

Algoritma backpropagation merupakan algoritma yang akan menghasilkan nilai terbaik melalui serangkaian uji coba trial and error. untuk itu pada penelitian ini, penulis melakukan beberapa percobaan untuk meningkatkan kecepatan pembelajaran (accelerated learning)

4.3.1 Hasil Normalisasi Data

Pada langkah ini dataset yang akan dilatih akan dilakukan proses normalisasi, data set dan hasil normalisasi dapat dilihat pada tabel 4.2

Tabel 4.2 Dataset awal yang telah dinormalisasi

Indeks (Data ke )

Data Awal Data Normalisasi

X1 X2 X3 X4 X1 X2 X3 X4

1 2 50 12500 98 0.222 1 1 1

2 0 13 3250 28 0 0.26 0.26 0.29

3 1 16 4000 35 0.111 0.32 0.32 0.36

4 2 20 5000 45 0.222 0.4 0.4 0.46

5 1 24 6000 77 0.111 0.48 0.48 0.79

6 4 4 1000 4 0.444 0.08 0.08 0.04

7 2 7 1750 14 0.222 0.14 0.14 0.14

8 1 12 3000 35 0.111 0.24 0.24 0.36

9 2 _{9 2250 22 0.222 0.18 0.18 0.22}

11 4 23 5750 58 0.444 0.46 0.46 0.59

12 0 _{3 750 4 0 0.06 0.06 0.04}

13 2 10 2250 22 0.222 0.20 0.26 0.48

14 1 _{13 3250 47 0.111 0.26 0.26 0.48}

15 2 _{6 1500 15 0.222 0.12 0.12 0.15}

16 2 5 1250 11 0.222 0.1 0.1 0.11

17 2 _{14 3500 48 0.222 0.28 0.28 0.49}

18 2 15 3750 49 0.222 0.3 0.3 0.5

19 2 _{6 1500 15 0.222 0.12 0.12 0.15}

20 2 3 750 4 0.222 0.06 0.06 0.04

21 2 _{3 750 4 0.222 0.06 0.06 0.04}

22 4 11 2750 28 0.444 0.22 0.22 0.29

23 2 6 1500 16 0.222 0.12 0.12 0.16

24 2 _{6 1500 16 0.222 0.12 0.12 0.16}

25 9 9 2250 16 1 0.18 0.18 0.16

26 4 _{14 3500 40 0.444 0.28 0.28 0.41}

27 4 6 1500 14 0.444 0.12 o.12 0.14

28 4 _{12 3000 34 0.444 0.24 0.24 0.35}

29 4 5 1259 11 0.444 0.1 0.1 0.11

30 4 _{8 2000 21 0.444 0.16 0.16 0.21}

31 1 14 3500 58 0.111 0.28 0.28 0.59

32 4 _{10 2500 28 0.444 0.2 0.2 0.29}

33 4 10 2500 28 0.444 0.2 0.2 0.29

34 4 9 2250 26 0.444 0.18 0.18 0.27

36 2 8 2000 28 0.222 0.16 0.16 0.29

37 2 _{12 3000 47 0.222 0.24 0.24 0.48}

38 4 6 1500 16 0.444 0.12 0.12 0.16

39 2 _{14 3500 57 0.222 0.28 0.28 0.58}

40 4 _{7 1750 22 0.444 0.14 0.14 0.22}

41 2 13 3250 53 0.222 0.26 0.26 0.54

42 2 _{5 1250 16 0.222 0.1 0.1 0.16}

43 2 5 1250 16 0.222 0.1 0.1 0.16

44 2 _{5 1250 16 0.222 0.1 0.1 0.16}

45 2 20 5000 69 0.444 0.4 0.4 0.7

46 4 _{9 2250 28 0.444 0.18 0.18 0.29}

47 2 9 2250 36 0.222 0.18 0.18 0.37

48 2 2 500 2 0.222 0.04 0.04 0.02

50 2 _{2 500 2 0.222 0.04 0.04 0.02}

Untuk membandingkan kinerja dari algoritma backpropagation standar dengan algoritma backpropagation adaptive learning rate, parameter arsitektur jaringan dan nilai bobot awal yang diberikan sama. kedua algoritma diuji menggunakan bobot awal yang sama yang dipilih secara acak dan menerima pola masukan untuk pelatihan dalam urutan yang sama, seperti yang terlihat pada tabel 4.1.

4.3.2 Hasil Pelatihan Algoritma Backpropagation Standar

Pada pelatihan algoritma backpropagation data set yang digunakan blood transfusion service center yang terdiri dari Recency, Frequency, Monetary dan Time. Arsitektur yang dipilih adalah 4-4-1dengan target error ditetapkan 0,01.

Hasil pelatihan yang diperoleh pada saat pembelajaran jaringan mencapa ikonvergensi pada epoch ke 1000, dengan nilai mean square error yang dihasilkan

sebagai indikator pembelajaran di perl

Gambar

4.3.3 Hasil Pelatih Pada pelatihan alg digunakan blood tr Monetary dan Time. 0,01.

Pada pembela variabel learning ra nilai learning rate

tor kinerja jaringan syaraf mencapai 0,00 erlihatkan pada gambar 4.2

bar 4.2 Grafik pembelajaran backpropagation

atihan Algoritma Backpropagation Adaptive Le algoritma backpropagation adaptive learning transfusion service center yang terdiri dari me. Arsitekturyang dipilih adalah 4-4-1dengan t

elajaran ini dengan metode yang digunakan d rate dan koefisien momentum pada fase peru di melakukan penyesuaian secara adaptif p

,000044. Grafik hasil

standar

Learning

ing rate dataset yang ri Recency, Frequency, target error ditetapkan

dengan menambahkan erubahan bobot, dimana f pada proses perubahan

bobot. Hasil pem konvergensi dengan

Gambar 4.3

4.4 Komposisi Param Pada fase perubahan koefisien momentum. grafik pembelajaran m nya apabila slope-nya m kuadrat error (setelah standar yaitu 1,04 mak dengan 0,7 dan bobot b

embelajaran hanya membutuhkan 72 epo an nilai mean square error 0,0000036.

4.3Grafik Pembelajaran Backpropagation Adapt

ameter Adaptive Learning Rate

an bobot, variabel yang ditambahkan adala Metode ini bekerja dengan menaikkan lear menjumpai permukaan yang datar dan menu a meningkat. Prosedur untuk menvariasikan le ah seluruh pelatihan dataset dimasukkan) leb aka parameter learning rate berkurang, nilai le t baru dihitung.

poch untuk mencapai

aptive learning

alah learning rate dan arning rate-nya apabila nurunkan learning

rate-learning dilakukan jika lebih dari kuadrat error i learning rate dikalikan

Namun apabila nilai kuadrat error kurang dari standar maka parameter learning rate bertambah, nilai learning rate dikalikan dengan 1,05. Gambar 4.2 merupakan pelatihan algoritma backpropagation dengan adaptif learning rate. ini menunjukkan bahwa mengadaptasi learning rate mampu menurunkan jumlah iterasi. Pada pelatihan jaringan adaptive learning juga digunakan bersama nilai koefisien momentum yaitu 0.95.Semakin besar learning rate maka rentang untuk menentukan perubahan bobot dalam jaringan syaraf tiruan semakin besar. Pada grafik 4.4 memperlihatkan nilai learning rate mencapai nilai 0,32 pada epoch ke 72 dan berpengaruh dengan kedekatan fitur kepada kelas yang lain. Saat learning rate kecil maka perubahan bobot semakin kecil dan kedekatan pola ke kelas lain dari inisial target juga semakin jauh.

4.5 Hasil Pengujian Setelah proses pelati backpropagation adap pengujian data untuk diperoleh tingkat akura

4.6 Pembahasan Berdasarkan grafik yan jaringan algoritma bac konvergensi pada algo menambahkan paramet pada percepatan pem backpropagation.

Gam

atihan dilakukan pada algoritma backpropa daptive learning maka tahap berikutnya p tuk algoritma backpropagation standar da urasi sebesar 86%.

yang dihasilkan dari pelatihan data terlihat ba backpropagation standar sangat lambat diban goritma backpropagation adaptive learning.Ini eter adaptive learning dan koefisien momentu embelajaran (accelerated learning) pada ja

ambar 4.5 Grafik perbandingan kedua algoritm

opagation standar dan pengujian data, hasil dan adaptive learning

bahwa laju konvergensi andingkan dengan laju Ini menunjukkan bahwa tum sangat berpengaruh jaringan syaraf tiruan

Pada grafik 4.5 diperlihatkan perbedaan iterasi yang dihasilkan dari kedua algoritma dengan nilai epoch yang jauh berbeda.algoritma yang diusulkan (adaptive learning rate) hanya membutuhkan 72 epoch serta hasil MSE yang diperoleh mendekati 0 untuk mencapai titik konvergensi menunjukkan jauh lebih cepat dibandingkan dengan algoritma backpropagation standar yang mencapai 1000 epoch, menunjukkan bahwa kinerja algoritma backpropagation adaptive learning lebih baik dibandingkan algoritma backpropagation standar. Percepatan pembelajaran pada algoritma backpropagation adaptive learning disebabkan penambahan learning rate secara adaptif disesuaikan dengan perubahan perhitungan kuadrat error dan koefisien momentum pada setiap iterasi sehingga lebih cepat mencapai error.

BAB 5

KESIMPULAN DAN SARAN

5.1 Kesimpulan

Dari hasil penelitian dan pembahasan maka penulis mengambil kesimpulan sebagai berikut.

1. Penerapan algoritma jaringan syaraf tiruan backpropagation secara luas telah di implementasikan dalam berbagai aplikasi yang praktis, algoritma ini masih memerlukan perbaikan. Pada penelitian ini penulis menambahkan parameter adaptive learning rate dan koofisien momentum pada perhitungan update bobot dengan mengambil nilai bobot pada iterasi yang lalu dan menambahkan nilai bobot sekarang untuk meningkatkan percepatan pembelajaran (accelerated learning) pada algoritma backpropagation.

2. Efektifitas algoritma dengan membandingkan hasil iterasi antara algoritma backpropagation standar dengan backpropagation adaptive learning

3. Dari hasil penelitian menunjukkan bahwa algoritma backpropagation dengan adaptive learning rate hanya mencapai 72 epoch dengan nilai MSE 0,000036, sedangkan algoritma backpropagation standar mencapai 1000 epoch dengan nilai MSE 0,00044.

5.2 Saran

Berdasarkan hasil penelitian maka saran yang dapat disampaikan adalah sebagai berikut : 1. Untuk meningkatkan percepatan pembelajaran maka penentuan bobot awal

untuk pelatihan dapat menggabungkan dengan algoritma yang lain untuk keakuratan penentuan bobot awal.

2. Modifikasi pada pelatihan standar backpropagation selain menggunakan adaptive learning perlu dicoba untuk mempercepat iterasi selama proses pelatihan jaringan.

DAFTAR PUSTAKA

Alsmadi, M.K.S, Omar, K., & Noah, S. A (2009) Back Propagation Algorithm: The Best Algorithm Among the Multi-layer Perceptron Algoritma. International Journal of Computer Science and Network Security, 9 (4), PP.378-383.

AL-Allaf, Omaima (2010). Improving the Performance of Backpropagation Neural Network Algorithm for Image Compression/Decompression System. Journal of Computer Science 6(11):1347-1354 ISSN 1549-3636.

Engelbrecht, A. P. (2007). Computational Intelligence: An Introduction. 2nd ed.England: John Wiley & Sons.

Ernest I & Tony M, (2011).Improved Backpropagation Learning in Neural Network with Windowed Momentum.In International Journal of Neural System, Vol 12, No.3&4 pp.303-318

Fausset, L. 1994. Fundamental of Neural Network: Architecture Algoritma, and Application. New Jersey : Prentice-Hall

Hamed, H.Z.A, Shamsuddin, S.M&Salim, N. (2008).Particle Swarm Optimization For Neural Network Learning Enhancement. 49(D) Dis. 2008:13-26

Hamid N.A&Nawi, N.M(2011).The Effect of Gain Variation of Activation Function in Improving Training Time of Back Propagation Neural Network on Classification Problems.Proceedings of the KolokiumKebangsaaan Pasca SiswazahSain dan Matematik 2009.UPSI:pp.

Hamid N.A, Nawi, N.M, Ghazali, R. & Saleh, M N.M. (2011) Accelerating Learning Performance of Backpropagation Algorithm by Using Adaptive Gain Together with Adaptive Momentum and Adaptive Learning Rate on Classification Problems. International Journal of Software Engineering and Application.Vol 5 No. 4.

Khan, A.U, Bandopadhyaya, T.K, & Sharma S, (2008) “Genetic Algorithm Based Backpropagation Neural Network Perform better than Backpropagation Neural Network in Stock Rates Preditiction” .IJCSNS.Vol 8 No. 7

Negnevitsky, M (2005). Artifial Intelligence a Guide to Intelligent System. 2 Harlow, England: Addison Wesley.

Otair, M.A&Salameh, W.A, Speeding up backpropagation neural network, in : Proceedings of the 2005 Informing Science and IT education joint conference, 2005. PP 167-173 v

Popescu, M.C, Balas, V.E, Perescu-Popescu, L, &Mastorakis, N. (2009).Multilayer perceptron and neural networks.WSEAS Trans. Cir. and Sys.,8 (7), pp. 579-588. Setiawan, K, 2003, Paradigma Sistem Cerdas. Malang :Banyumedia Publishing.

Subavathi S J &KathirvalavakumarT (2011) Adaptive modiefied backpropagation algorithm based on differential errors. International Journal of Computer Science, Engineering and Aplication (IJCSEA) Vol 1, No. 5 Oktober 2011

Salman, A.G. (2011) Implementasi jaringan syaraf tiruan recurrent dengan metode pembelajaran gradient descent adaptive learning untuk pendugaan curah hujan.Procesiding Seminar Nasional Aplikasi Teknologi Informasi. ISSN: 1907-5022

Supriyadi, D. (2012). Sistem informasi penyebaran penyakit deman berdarah menggunakan metode jaringan syaraf tiruan backpropagation. Tesis.Universitas Diponegoro Semarang.

Zainuddin, Z.N. Mahat& Abu Hassan Y (2005).Improving the Converge of the Backpropagation Algorithm Using Local Adaptive Techniques. Science 1:3

KESIMPULAN DAN SARAN

5.1 Kesimpulan

Dari hasil penelitian dan pembahasan maka penulis mengambil kesimpulan sebagai berikut.

1. Penerapan algoritma jaringan syaraf tiruan backpropagation secara luas telah di implementasikan dalam berbagai aplikasi yang praktis, algoritma ini masih memerlukan perbaikan. Pada penelitian ini penulis menambahkan parameter adaptive learning rate dan koofisien momentum pada perhitungan update bobot dengan mengambil nilai bobot pada iterasi yang lalu dan menambahkan nilai bobot sekarang untuk meningkatkan percepatan pembelajaran (accelerated learning) pada algoritma backpropagation.

2. Efektifitas algoritma dengan membandingkan hasil iterasi antara algoritma

backpropagation standar dengan backpropagation adaptive learning

3. Dari hasil penelitian menunjukkan bahwa algoritma backpropagation dengan

adaptive learning rate hanya mencapai 72 epoch dengan nilai MSE 0,000036,

sedangkan algoritma backpropagation standar mencapai 1000 epoch dengan nilai MSE 0,00044.

5.2 Saran

Berdasarkan hasil penelitian maka saran yang dapat disampaikan adalah sebagai berikut : 1. Untuk meningkatkan percepatan pembelajaran maka penentuan bobot awal

untuk pelatihan dapat menggabungkan dengan algoritma yang lain untuk keakuratan penentuan bobot awal.

2. Modifikasi pada pelatihan standar backpropagation selain menggunakan

adaptive learning perlu dicoba untuk mempercepat iterasi selama proses

DAFTAR PUSTAKA

Alsmadi, M.K.S, Omar, K., & Noah, S. A (2009) Back Propagation Algorithm: The Best

Algorithm Among the Multi-layer Perceptron Algoritma. International Journal of

Computer Science and Network Security, 9 (4), PP.378-383.

AL-Allaf, Omaima (2010). Improving the Performance of Backpropagation Neural

Network Algorithm for Image Compression/Decompression System. Journal of

Computer Science 6(11):1347-1354 ISSN 1549-3636.

Engelbrecht, A. P. (2007). Computational Intelligence: An Introduction. 2nd ed.England: John Wiley & Sons.

Ernest I & Tony M, (2011).Improved Backpropagation Learning in Neural Network with

Windowed Momentum.In International Journal of Neural System, Vol 12, No.3&4

pp.303-318

Fausset, L. 1994. Fundamental of Neural Network: Architecture Algoritma, and

Application. New Jersey : Prentice-Hall

Hamed, H.Z.A, Shamsuddin, S.M&Salim, N. (2008).Particle Swarm Optimization For

Neural Network Learning Enhancement. 49(D) Dis. 2008:13-26

Hamid N.A&Nawi, N.M(2011).The Effect of Gain Variation of Activation Function in Improving Training Time of Back Propagation Neural Network on Classification

Problems.Proceedings of the KolokiumKebangsaaan Pasca SiswazahSain dan

Matematik 2009.UPSI:pp.

Hamid N.A, Nawi, N.M, Ghazali, R. & Saleh, M N.M. (2011) Accelerating Learning Performance of Backpropagation Algorithm by Using Adaptive Gain Together with

Adaptive Momentum and Adaptive Learning Rate on Classification Problems.

International Journal of Software Engineering and Application.Vol 5 No. 4.

Khan, A.U, Bandopadhyaya, T.K, & Sharma S, (2008) “Genetic Algorithm Based Backpropagation Neural Network Perform better than Backpropagation Neural

Network in Stock Rates Preditiction” .IJCSNS.Vol 8 No. 7

Negnevitsky, M (2005). Artifial Intelligence a Guide to Intelligent System. 2 Harlow, England: Addison Wesley.

Otair, M.A&Salameh, W.A, Speeding up backpropagation neural network, in : Proceedings of the 2005 Informing Science and IT education joint conference, 2005. PP 167-173 v

perceptron and neural networks.WSEAS Trans. Cir. and Sys.,8 (7), pp. 579-588. Setiawan, K, 2003, Paradigma Sistem Cerdas. Malang :Banyumedia Publishing.

Subavathi S J &KathirvalavakumarT (2011) Adaptive modiefied backpropagation algorithm based on differential errors. International Journal of Computer Science, Engineering and Aplication (IJCSEA) Vol 1, No. 5 Oktober 2011

Salman, A.G. (2011) Implementasi jaringan syaraf tiruan recurrent dengan metode pembelajaran gradient descent adaptive learning untuk pendugaan curah hujan.Procesiding Seminar Nasional Aplikasi Teknologi Informasi. ISSN: 1907-5022

Supriyadi, D. (2012). Sistem informasi penyebaran penyakit deman berdarah menggunakan metode jaringan syaraf tiruan backpropagation. Tesis.Universitas Diponegoro Semarang.

Zainuddin, Z.N. Mahat& Abu Hassan Y (2005).Improving the Converge of the