21
2.6.5 Optimasi Arsitektur Backpropagation
Masalah utama yang dihadapi dalam backpropagation adalah lamanya iterasi yang harus dilakukan. Backpropagation tidak dapat memberikan kepastian tentang berapa epoch yang harus
dilalui untuk mencapai kondisi yang diinginkan. Oleh karena itu banyak orang berusaha meneliti bagaimana parameter-parameter jaringan dibuat sehingga menghasilkan jumlah iterasi yang relatif
lebih sedikit. Cara yang ditempuh adalah sebagai berikut :
Pemilihan Bobot dan Bias Awal
Dalam algoritma backpropagation diperlukan inisiasi pembobot awal. Bobot awal akan mempengaruhi apakah jaringan mencapai titik minimum lokal atau global, dan seberapa cepat
konvergensinya. Nguyen dan Widrow 1990 dalam Siang 2009 mengusulkan cara membuat inisiasi bobot dan bias ke unit tersembunyi sehingga menghasilkan iterasi lebih cepat. Dimisalkan n adalah
jumlah unit masukan, p adalah jumlah unit tersembunyi, dan β adalah faktor skala = 0.7 .
Algoritma inisiasi Nguyen dan Widrow adalah sebagai berikut : Langkah 1 : Inisiasi semua bobot v
ji
lama dengan bilangan acak dalam interval [-0.5, 0.5].
Langkah 2 : Hitung ║v
j
║ =
2 1
+
2 2
+. . . +
2
...................................................... 37 Langkah 3 : Bobot yang dipakai sebagai inisiasi adalh v
ij
=
�
............................................................................... 38 Langkah 4 : Bias yang dipakai sebagai inisiasi = v
j0
= bilangan acak antara –β dan β
Jumlah Unit Tersembunyi dan Jumlah Node Pada Unit Tersembunyi
Hasil teoritis yang didapatkan menunjukkan bahwa jaringan dengan sebuah lapisan tersembunyi sudah cukup bagi backpropagation untuk mengenali sembarang pasangan masukan dan
target dengan tingkat ketelitian yang ditentukan. Akan tetapi penambahan jumlah lapisan tersembunyi kadangkala membuat pelatihan lebih mudah. Jumlah minimal node lapisan tersembunyi
dapat ditentukan dengan beberapa cara seperti yang dilakukan oleh Cheng-Lin, Y. et al. 2001 dalam Mastur et al. 2005, seperti pada Persamaan 39 .
=
n
i
+n
o
2
................................................................................................... 39 Dengan n
h
adalah jumlah neuron pada lapisan tersembunyi, n
i
adalah jumlah neron dalam lapisan input, dan n
o
adalah jumlah neuron dalam lapisan output.
Resilient Backpropagation
Standar backpropagation adalah menggunakan algoritma penurunan gradien gradient descent. Variasi terhadap model standar backpropagation dilakukan dengan mengganti algoritma
penurunan gradient dengan metode optimasi yang lain, seperti Resilient backpropagation Siang 2009.
Febrianty et al. 2007 menerangkan bahwa Resilient backpropagation merupakan algoritma pembelajaran pada JST yang dikembangkan untuk mengatasi kelemahan pada JST Propagasi Balik
yang biasanya menggunakan fungsi aktivasi sigmoid. Salah satu karakteristik dari fungsi sigmoid adalah gradiennya akan mendekati nol apabila input yang diberikan sangat banyak. Gradien yang
mendekati nol ini berimplikasi pada rendahnya perubahan bobot. Apabila bobot-bobot tidak cukup mengalami perubahan, maka algoritma akan sangat lambat untuk mendekati nilai optimumnya.
22
Algoritma RPROP berusaha untuk mengeliminasi besarnya efek turunan parsial dengan cara hanya menggunakan tanda turunannya saja. Tanda turunan ini akan menentukan arah perbaikan
bobot –bobot. Besarnya perubahan setiap bobot akan ditentukan oleh suatu faktor yang diatur pada
parameter delt_inc atau delt_dec Pada awal iterasi, besarnya perubahan bobot diinisialisasikan dengan parameter delta0. Besarnya perubahan tidak boleh melebihi batas maksimum yang terdapat pada
parameter deltamax. Sama seperti pada algoritma propagasi balik gradien descent, Algoritma RPROP
melaksanakan dua tahap pembelajaran yaitu tahap perambatan maju forward untuk mendapatkan error output dan tahap perambatan mundur backward untuk mengubah nilai bobot-bobot.
Proses pembelajaran pada algoritma RPROP diawali dengan Definisi masalah, yaitu menentukan matriks masukan p dan matriks target t. Kemudian dilakukan proses inisialisasi yaitu
menentukan bentuk jaringan, MaxEpoh, Target_Error, delta_dec, delta_inc, delta0, deltamax, dan menetapkan nilai-nilai bobot sinaptik vij dan wjk secara random.
Pelatihan jaringan pada algoritma RPROP dilakukan selama Epoh jumlah siklus pelatihan kurang dari MaxEpoh dan Minimum Square Error Minimal error yang ditoleransi lebih besar dari
Target Error. Proses perambatan maju forward pada algoritma RPROP sama dengan algoritma Propagasi Balik umumnya, sedangkan pada proses backwardnya berbeda.
2.6.6 Aplikasi Jaringan Syaraf Tiruan
Kategori