aktivasi keluaran model jaringan juga dapat dipakai sebagai dasar untuk merubah bobot.
Menurut Siang 2009 ada beberapa arsitektur jaringan yang sering dipakai dalam jaringan syaraf tiruan, antara lain :
a. Jaringan Layar Tunggal Single Layer Network
Dalam jaringan ini, sekumpulan input neuron dihubungkan langsung dengan sekumpulan output-nya. Dalam beberapa model misal
perceptron, hanya ada sebuah unit neuron output.
X
1
X
i
X
n
Y
m
Y
j
Y
1
W
11
W
ji
Gambar 2.2 Siang 2009
Gambar di atas menunjukan arsitektur jaringan dengan n unit input X dan m unit output Y.
Dalam jaringan tersebut, semua unit input dihubungkan dengan semua unit output, meskipun dengan bobot yang berbeda-beda. Tidak ada unit input
yang dihubungkan dengan unit input lainnya. Demikian pula dengan unit output.
Besaran w menyatakan bobot hubungan antara unit onput dengan urut output. Bobot-bobot ini aling independen. Selama proses pelatihan,
bobot-bobot ini saling independen. Selama proses pelatihan, bobot-bobot tersebut akan dimodifikasi untuk meningkatkan keakuratan hasi. Model
semacam ini tepat
digunakan untuk pengenalan pola karena
kesederhanaannya. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
b. Jaringan Layar Jamak Multi Layer Network
Jaringan layar jamak merupakan perluasan dari layar tunggal. Dalam jaringan ini, selain unit input dan output, ada unit-unit lain sering
disebut layar tersembunyi. Dimungkinkan pula ada beberapa layar tersembunyi. Sama seperti pada unit input dan output, unit-unit dalam satu
layar tidak saling berhubungan.
X
i
X
n
Z
p
Z
1
X
1
Y
m
Y
j
Y
1
Gambar 2.3 Siang 2009 Gambar di atas adalah jaringan dengan n buah unit input X
sebuah layar tersembunyi yang terdiri dari p buah unit Z dan m buah unit output Y.
Jaringan ini dapat menyelesaikan masalah yang lebih kompleks dibandingkan dengan layar tunggal, meskipun kadangkala proses pelatihan
lebih kompleks dan lama. c.
Jaringan Reccurent Model jaringan reccurent mirip dengan jaringan layar tunggal
ataupun ganda. Hanya saja, ada neuron output yang memberikan sinyal pada unit input sering disebut feedback loop.
Dalam jaringan syaraf tiruan, fungsi aktivasi dipakai untuk menentukan keluaran suatu neuron. Argument fungsi aktivasi adalah net masukan kombinasi
linear masukan dan bobotnya. Beberapa fungsi aktivasi yang sering dipakai adalah sebagai berikut :
a. Fungsi Threshold batas ambang
{ ……………………………….. 2.2
Untuk beberapa kasus, fungsi threshold yang tidak berharga 0 atau 1, tapi berharga -1 atau 1 sering disebut threshold bipolar jadi
{ ……………………………….. 2.3
b. Fungsi Sigmoid
……................……………………………….. 2.4 Fungsi ini sering dipakai karena nilai fungsinya yang terletak
antara 0 dan 1 dapat diturunkan dengan mudah. ............……………………………….. 2.5
c. Fungsi Identitas
……….………………………………..2.6
Fungsi identitas sering dipakai apabila kita menginginkan keluaran berupa sembarang bilangan riil bukan hanya pada range [0,1] atau [-1,1]
Kadang-kadang dalam jaringan ditambahkan sebuah unit masukan yang nilainya selalu = 1. Unit yang sedemikian itu disebut bias. Bias dapat
dipandang sebagai sebuah unit input yang nilainya = 1. Bias berfungsi untuk mengubah nilai threshold menjadi = 0 bukan = a. jika melibatkan
bias, maka keluaran unit penjumlahan adalah ∑
…………………….. 2.7 Fungsi aktivasi threshold menjadi :
{ …………………………………….. 2.8
X
1
X
2
1 Y
Gambar 2.4 Siang 2009
2.4.1 Mempercepat Pelatihan Backpropagation
Menurut Siang 2009 Metode standar backpropagation seringkali terlalu lambat untuk keperluan praktis. Beberapa modifikasi dilakukan
terhadap standar backpropagation dengan cara mengganti fungsi pelatihannya.
Secara umum, modifikasi dapat dikelompokan dalam dua kategori. kategori pertama adalah metode yang menggunakan teknik heuristic yang
dikembangkan dari metode penurunan tercepat yang dipakai dalam standar backpropagation. kategori kedua adalah menggunakan metode optimasi
numeric selain penurunan tercepat. Beberapa metode yang dipakai sebagai modifikasi adalah metode conjugate gradient, quasi Newton, dan lain-lain.
Dalam sub bab berikut ini dibicarakan dahulu tentang beberapa modifikasi yang masuk dalam kategori pertama backpropagation dengan momentum,
variabel laju pemahaman, dan backpropagation resilient. Berikutnya barulah dibahas tentang beberapa metode yang masuk dalam kategori kedua.
Beberapa metode yang dipakai untuk mempercepat pelatihan backpropagation sebagai berikut :
1. Metode penurunan Gradien dengan Momentum traingdm
Modifikasi metode
penurunan tercepat
dilakukan dengan
menambahkan momentum. Dengan momentum, perubahan bobot tidak hanya didasarkan atas error yang terjadi pada epoch pada waktu itu.
Perubahan bobot saat ini dilakukan dengan memperhitungkan juga perubahan
bobot pada
epoch sebelumnya.
Dengan demikian
kemungkinan terperangkap ke titik minimum lokal dapat dihindari. Menurut Hagan dan Demuth 1996 sebelum mengimplementasikan
ke dalam sebuah aplikasi jaringan syaraf, akan dibuktikan dalam sebuah ilustrasi efek penghalusan dengan mempertimbangkan :
2.9 Dimana wk adalah input ke filter, yk adalah output dari filter dan
y adalah koefisien momentum yang harus memenuhi 2.10
Efek dari filter ditunjukan dengan gambar 2.5. Contoh ini input diambil dari gelombang sinus :
2.11 Dan koefisien momentum ditetapkan untuk y = 0.9 a dan y = 0.98
b. Dari gambar tersebut dapat dilihat osilasi dari output filter kurang dari osilasi dalam filter input. Selain itu, sebagai y meningkat osilasi
dalam output filter berkurang. Sangat penting juga memperhatikan bahwa output filter rata-rata sama dengan rata-rata menyaring masukan,
meskipun sebagai y meningkat filter output lebih lambat untuk merespon. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Gambar 2.5. Pengaruh Perubahan Momentum Hagan Demuth, 1996 Untuk meringkas, filter cenderung mengurangi jumlah perubahan,
sementara masih mengikuti nilai rata-rata. Untuk cara implementasi dalam jaringan syaraf tiruan, pertama menggunakan parameter sebagai
berikut : ,
2.12
.
2.13 Ketika filter momentum ditambahkan untuk mengganti parameter,
sehingga mendapatkan persamaan perubahan backpropagation :
, Error No text of specified style in document..14
. Error No text of
specified style in document..15
Apabila menggunakan persamaan modifikasi ini maka akan memperoleh hasilnya seperti gambar 2.6.
Gambar 2.6. Lintasan dengan momentum Hagan Demuth, 1996 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Dari gambar 2.6. cenderung untuk membuat lintasan terus kearah yang sama. Semakin besar y, semakin cepat t lintasannya.
2. Variabel Laju Pemahaman traingda, traingdx
Dalam standar Backpropagation. Laju pemahaman berupa suatu konstanta yang nilainya tetap selama iterasi. Akibatnya, untuk kerja
algoritma sangat dipengaruhi oleh besarnya laju pemahaman yang dipakai. Secara praktis, sulit untuk menentukan besarnya laju pemahaman
yang terlalu besar maupun terlalu kecil akan menyebabkan pelatihan menjadi lambat.
Pelatihan akan lebih cepat apabila laju pemahaman dapat diubah ubah besarnya selama proses pelatihan. Jika error sekarang lebih besar
dibandingkan error sebelumnya, maka laju pemahaman diturunkan. Jika sebaliknya, maka laju pemahaman diperbesar. Dengan demikian laju
pemahaman dapat dibuat sebesar besarnya dengan tetap mempertahanlan kestabilan proses.
Menurut Hagan dan Demuth 1996, ada banyak pendekatan untuk mengubah learning rate laju pemahaman. Salah satunya dengan cara
yang paling mudah, dimana learning rate berubah berdasarkan performa sebuah algoritma. Aturan untuk variabel learning rate backpropagation
adalah sebagai berikut : a.
Jika error kuadrat pada semua training set meningkat lebih dari presentase yang ditentukan umumnya satu hingga lima persen
setelah perubahan bobot, maka perubahan bobot diabaikan, learning rate dikalikan dengan faktor 0 p 1, dan koefisien momentum y
jika digunakan diberi nilai nol. b.
Jika error kuadrat berkurang setelah perubahan bobot, maka perubahan bobot diterima dan learning rate dikalikan dengan faktor
jika y sebelumnya diberi nilai nol, maka akan diubah menjadi nilai aslinya.
c.
Jika error kuadrat meningkat namun kurang dari
, maka perubahan bobot diterima tetapi learning rate dan koefisien momentum tidak berubah.
Dengan menggunakan parameter awal yang telah digunakan pada gambar 2.6 dan menambahkan parameter baru :
, , dan ,
maka akan didapatkan hasil seperti pada gambar 2.7.
Gambar 2.7. Lintasan variabel Learning Rate Hagan Demuth, 1996 3.
Resilent Backpropagation trainrp Jaringan backpropagation umumnya menggunakan fungsi aktivasi
sigmoid. Fungsi sigmoid akan menerima masukan dari range tak berhingga menjadi keluaran pada range
[ ]. Semakin jauh titik dari , semakin kecil gradiennya. Pada titik yang cukup jauh dari ,
gradiennya mendekati 0. Hal ini menimbulkan masalah pada waktu
menggunakan metode penurunan tercepat yang iterasinya didasarkan atas gradien. Gradien yang kecil menyebabkan perubahan bobot juga kecil,
meskipun masih jauh dari titik optimal. Masalah ini diatasi dalam resilient backpropagation dengan cara
membagi arah dan perubahan bobot menjadi dua bagian yang berbeda. Ketika menggunakan penurunan tercepat, yang diambil hanya arahnya
saja. Besarnya perubahan bobot dilakukan dengan cara lain Siang, 2009. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
4. Gradien Conjugate traincgf, traincgp, traincgb
Dalam standar backpropagation, bobot dimodifikasi pada arah penurunan tercepat. Meskipun penurunan fungsi berjalan cepat, tapi tidak
menjamin akan konvergen dengan cepat. Dalam algoritma gradien conjugate, pencarian dilakukan sepanjang arah conjugate. Dalam banyak
kasus, pencarian ini lebih cepat. Ada berbagai metode pencarian yang dilakukan berdasarkan prinsip gradien conjugate, antara lain Fletcher-
Reeves „traincgf‟, Polak-Ribiere „traincgp‟, Powel Beale „traincgb‟.
Menurut Hagan Demuth 1996, langkah-langkah dalam gradien conjugate adalah sebagai berikut :
a. Memilih arah pencarian pertama
menjadi gradien negatif
, Error No text of specified
style in document..16
b. Kemudian memilih learning rate
untuk meminimalisasi fungsi bersamaan dengan arah pencarian :
, Error No text of specified
style in document..17
c. Lalu memilih arah pencarian selanjutnya berdasarkan persamaan
, Error No text of specified
style in document..18
dengan persamaan berikut ini untuk menghitung nilai
atau atau
Error No text of specified style in document..19
Jika algoritma belum konvergen maka lanjut pada langkah ke-2.
2.5. Backpropagation propagasi balik
Backpropagation merupakan suatu teknik pembelajaran atau pelatihan jenis supervised learning yang sering digunakan. Metode ini merupakan salah satu
W
10
W
k0
W
m0
W
11
W
k1
W
m1
W
1j
W
kj
W
mj
W
1p
W
kp
W
mp
V
10
V
j0
V
p0
V
11
V
1i
V
p1
V
11
V
ji
V
pi
V
1n
V
jn
V
pn
metode yang sangat baik dalam menangani masalah pengenalan pola yang kompleks.
Backpropagation memiliki beberapa unit yang ada dalam satu atau lebih layar tersembunyi. Gambar 2.5 adalah arsitektur backpropagation dengan n buah
masukan ditambah sebuah bias, sebuah layar tersembunyi yang terdiri dari p unit ditambah sebuah bias, serta m buah unit keluaran.
V
ji
merupakan bobot garis dari unit masukan X
i
ke unit layar tersembunyi Z
j
V
j0
merupakan bobot garis yang menghubungkan bias di unit masukan ke unit layar tersembunyi Z
j
. W
kj
merupakan bobot dari unit layar tersembunyi Z
j
ke unit keluaran Y
k
W
k0
merupakan bobot dari bias di layar tersembunyi ke unit keluaran Z
k
Gambar 2.5 Siang 2009 Dalam Backpropagation, fungsi aktivasi yang dipakai harus memenuhi
beberapa syarat yaitu : kontinu, terdiferensial dengan mudah dan merupakan fungsi yang tidak turun. Salah satu fungsi yang memenuhi ketiga syarat tersebut
sehingga sering dipakai adalah fungsi sigmoid biner yang memiliki range 0,1.
Y
1
Y
k
Y
m
Z
1
Z
j
Z
p
1
X
1
X
i
X
n
1
