aktivasi keluaran model jaringan juga dapat dipakai sebagai dasar untuk merubah bobot.
Menurut Siang 2009 ada beberapa arsitektur jaringan yang sering dipakai dalam jaringan syaraf tiruan, antara lain :
a. Jaringan Layar Tunggal
Single Layer Network
Dalam jaringan ini, sekumpulan input neuron dihubungkan langsung dengan sekumpulan
output-
nya. Dalam beberapa model misal
perceptron
, hanya ada sebuah unit
neuron outpu
t.
X
1
X
i
X
n
Y
m
Y
j
Y
1
W
11
W
ji
Gambar 2.2 Siang 2009
Gambar di atas menunjukan arsitektur jaringan dengan n unit
input
X dan m unit
output
Y. Dalam jaringan tersebut, semua unit
input
dihubungkan dengan semua unit
output
, meskipun dengan bobot yang berbeda-beda. Tidak ada unit
input
yang dihubungkan dengan unit
input
lainnya. Demikian pula dengan unit
output
. Besaran w menyatakan bobot hubungan antara unit
onput
dengan urut
output
. Bobot-bobot ini aling
independen
. Selama proses pelatihan, bobot-bobot ini saling
independen
. Selama proses pelatihan, bobot-bobot tersebut akan dimodifikasi untuk meningkatkan keakuratan hasi. Model
semacam ini tepat
digunakan untuk pengenalan pola karena
kesederhanaannya. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
b. Jaringan Layar Jamak
Multi Layer Network
Jaringan layar jamak merupakan perluasan dari layar tunggal. Dalam jaringan ini, selain unit input dan
output
, ada unit-unit lain sering disebut layar tersembunyi. Dimungkinkan pula ada beberapa layar
tersembunyi. Sama seperti pada unit
inpu
t dan
output
, unit-unit dalam satu layar tidak saling berhubungan.
X
i
X
n
Z
p
Z
1
X
1
Y
m
Y
j
Y
1
Gambar 2.3 Siang 2009 Gambar di atas adalah jaringan dengan n buah unit
input
X sebuah layar tersembunyi yang terdiri dari p buah unit Z dan m buah unit
output Y. Jaringan ini dapat menyelesaikan masalah yang lebih kompleks
dibandingkan dengan layar tunggal, meskipun kadangkala proses pelatihan lebih kompleks dan lama.
c. Jaringan
Reccurent
Model jaringan
reccurent
mirip dengan jaringan layar tunggal ataupun ganda. Hanya saja, ada
neuron output
yang memberikan sinyal pada unit
input
sering disebut
feedback loop
. Dalam jaringan syaraf tiruan, fungsi aktivasi dipakai untuk menentukan
keluaran suatu
neuron
.
Argument
fungsi aktivasi adalah
net
masukan kombinasi linear masukan dan bobotnya.
Beberapa fungsi aktivasi yang sering dipakai adalah sebagai berikut : PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
a. Fungsi
Threshold
batas ambang {
……………………………….. 2.2 Untuk beberapa kasus, fungsi
threshold
yang tidak berharga 0 atau 1, tapi berharga -1 atau 1 sering disebut
threshold
bipolar jadi {
……………………………….. 2.3 b.
Fungsi
Sigmoid
……................……………………………….. 2.4 Fungsi ini sering dipakai karena nilai fungsinya yang terletak
antara 0 dan 1 dapat diturunkan dengan mudah. ............……………………………….. 2.5
c. Fungsi Identitas
……….………………………………..2.6
Fungsi identitas sering dipakai apabila kita menginginkan keluaran berupa sembarang bilangan riil bukan hanya pada range [0,1] atau [-1,1]
Kadang-kadang dalam jaringan ditambahkan sebuah unit masukan yang nilainya selalu = 1. Unit yang sedemikian itu disebut bias. Bias dapat
dipandang sebagai sebuah unit input yang nilainya = 1. Bias berfungsi untuk mengubah nilai
threshold
menjadi = 0 bukan = a. jika melibatkan bias, maka keluaran unit penjumlahan adalah
∑ …………………….. 2.7
Fungsi aktivasi
threshold
menjadi : {
…………………………………….. 2.8 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
X
1
X
2
1 Y
Gambar 2.4 Siang 2009
2.4.1 Mempercepat Pelatihan Backpropagation
Menurut Siang 2009 Metode standar
backpropagation
seringkali terlalu lambat untuk keperluan praktis. Beberapa modifikasi dilakukan
terhadap standar
backpropagation
dengan cara mengganti fungsi pelatihannya.
Secara umum, modifikasi dapat dikelompokan dalam dua kategori. kategori pertama adalah metode yang menggunakan teknik
heuristic
yang dikembangkan dari metode penurunan tercepat yang dipakai dalam standar
backpropagation
. kategori kedua adalah menggunakan metode optimasi
numeric
selain penurunan tercepat. Beberapa metode yang dipakai sebagai modifikasi adalah metode
conjugate gradient, quasi Newton,
dan lain-lain. Dalam sub bab berikut ini dibicarakan dahulu tentang beberapa modifikasi
yang masuk dalam kategori pertama
backpropagation
dengan momentum, variabel laju pemahaman, dan
backpropagation resilient
. Berikutnya barulah dibahas tentang beberapa metode yang masuk dalam kategori kedua.
Beberapa metode yang dipakai untuk mempercepat pelatihan
backpropagation
sebagai berikut : PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
1. Metode penurunan Gradien dengan Momentum traingdm
Modifikasi metode
penurunan tercepat
dilakukan dengan
menambahkan momentum. Dengan momentum, perubahan bobot tidak hanya didasarkan atas
error
yang terjadi pada
epoch
pada waktu itu. Perubahan bobot saat ini dilakukan dengan memperhitungkan juga
perubahan bobot
pada
epoch
sebelumnya. Dengan
demikian kemungkinan terperangkap ke titik minimum lokal dapat dihindari.
Menurut Hagan dan Demuth 1996 sebelum mengimplementasikan ke dalam sebuah aplikasi jaringan syaraf, akan dibuktikan dalam sebuah
ilustrasi efek penghalusan dengan mempertimbangkan : 2.9
Dimana wk adalah input ke
filter
, yk adalah output dari
filter
dan y adalah koefisien momentum yang harus memenuhi
2.10 Efek dari
filter
ditunjukan dengan gambar 2.5. Contoh ini input diambil dari gelombang sinus :
2.11 Dan koefisien momentum ditetapkan untuk y = 0.9 a dan y = 0.98
b. Dari gambar tersebut dapat dilihat osilasi dari
output filter
kurang dari osilasi dalam
filter input
. Selain itu, sebagai y meningkat osilasi dalam
output filter
berkurang. Sangat penting juga memperhatikan bahwa
output filter
rata-rata sama dengan rata-rata menyaring masukan, meskipun sebagai y meningkat
filter output
lebih lambat untuk merespon. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Gambar 2.5. Pengaruh Perubahan Momentum Hagan Demuth, 1996 Untuk meringkas, filter cenderung mengurangi jumlah perubahan,
sementara masih mengikuti nilai rata-rata. Untuk cara implementasi dalam jaringan syaraf tiruan, pertama menggunakan parameter sebagai
berikut : ,
2.12
.
2.13 Ketika
filter
momentum ditambahkan untuk mengganti parameter, sehingga mendapatkan persamaan perubahan
backpropagation
:
, Error No text of specified style in document..14
. Error No text of
specified style in document..15
Apabila menggunakan persamaan modifikasi ini maka akan memperoleh hasilnya seperti gambar 2.6.
Gambar 2.6. Lintasan dengan momentum Hagan Demuth, 1996 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Dari gambar 2.6. cenderung untuk membuat lintasan terus kearah yang sama. Semakin besar y, semakin cepat t lintasannya.
2. Variabel Laju Pemahaman traingda, traingdx
Dalam standar
Backpropagatio
n. Laju pemahaman berupa suatu konstanta yang nilainya tetap selama iterasi. Akibatnya, untuk kerja
algoritma sangat dipengaruhi oleh besarnya laju pemahaman yang dipakai. Secara praktis, sulit untuk menentukan besarnya laju pemahaman
yang terlalu besar maupun terlalu kecil akan menyebabkan pelatihan menjadi lambat.
Pelatihan akan lebih cepat apabila laju pemahaman dapat diubah ubah besarnya selama proses pelatihan. Jika
error
sekarang lebih besar dibandingkan
error
sebelumnya, maka laju pemahaman diturunkan. Jika sebaliknya, maka laju pemahaman diperbesar. Dengan demikian laju
pemahaman dapat dibuat sebesar besarnya dengan tetap mempertahanlan kestabilan proses.
Menurut Hagan dan Demuth 1996, ada banyak pendekatan untuk mengubah
learning rate
laju pemahaman. Salah satunya dengan cara yang paling mudah, dimana
learning rate
berubah berdasarkan performa sebuah algoritma. Aturan untuk variabel
learning rate backpropagation
adalah sebagai berikut : a.
Jika
error
kuadrat pada semua training set meningkat lebih dari presentase yang ditentukan umumnya satu hingga lima persen
setelah perubahan bobot, maka perubahan bobot diabaikan,
learning rate
dikalikan dengan faktor 0 p 1, dan koefisien momentum y jika digunakan diberi nilai nol.
b. Jika error kuadrat berkurang setelah perubahan bobot, maka
perubahan bobot diterima dan learning rate dikalikan dengan faktor
jika y sebelumnya diberi nilai nol, maka akan diubah menjadi nilai aslinya.
c.
Jika error kuadrat meningkat namun kurang dari
, maka perubahan bobot diterima tetapi
learning rate
dan koefisien momentum tidak berubah.
Dengan menggunakan parameter awal yang telah digunakan pada gambar 2.6 dan menambahkan parameter baru :
, , dan ,
maka akan didapatkan hasil seperti pada gambar 2.7.
Gambar 2.7. Lintasan variabel
Learning Rate
Hagan Demuth, 1996 3.
Resilent Backpropagation
trainrp Jaringan
backpropagation
umumnya menggunakan fungsi aktivasi
sigmoid
. Fungsi
sigmoid
akan menerima masukan dari
range
tak berhingga menjadi keluaran pada
range
[ ]. Semakin jauh titik dari , semakin kecil gradiennya. Pada titik yang cukup jauh dari ,
gradiennya mendekati 0. Hal ini menimbulkan masalah pada waktu
menggunakan metode penurunan tercepat yang iterasinya didasarkan atas gradien. Gradien yang kecil menyebabkan perubahan bobot juga kecil,
meskipun masih jauh dari titik optimal. Masalah ini diatasi dalam
resilient backpropagation
dengan cara membagi arah dan perubahan bobot menjadi dua bagian yang berbeda.
Ketika menggunakan penurunan tercepat, yang diambil hanya arahnya saja. Besarnya perubahan bobot dilakukan dengan cara lain Siang, 2009.
4. Gradien Conjugate traincgf, traincgp, traincgb
Dalam standar
backpropagation
, bobot dimodifikasi pada arah penurunan tercepat. Meskipun penurunan fungsi berjalan cepat, tapi tidak
menjamin akan konvergen dengan cepat. Dalam algoritma gradien
conjugate
, pencarian dilakukan sepanjang arah
conjugate
. Dalam banyak kasus, pencarian ini lebih cepat. Ada berbagai metode pencarian yang
dilakukan berdasarkan prinsip gradien
conjugate
, antara lain
Fletcher- Reeves
„traincgf‟,
Polak-Ribiere
„traincgp‟,
Powel Beale
„traincgb‟. Menurut Hagan Demuth 1996, langkah-langkah dalam
gradien
conjugate
adalah sebagai berikut : a.
Memilih arah pencarian pertama menjadi gradien negatif
, Error No text of specified
style in document..16
b. Kemudian memilih
learning rate
untuk meminimalisasi fungsi bersamaan dengan arah pencarian :
, Error No text of specified
style in document..17
c. Lalu memilih arah pencarian selanjutnya berdasarkan persamaan
, Error No text of specified
style in document..18
dengan persamaan berikut ini untuk menghitung nilai
atau atau
Error No text of specified style in document..19
Jika algoritma belum
konvergen
maka lanjut pada langkah ke-2.
2.5. Backpropagation propagasi balik
Backpropagation
merupakan suatu teknik pembelajaran atau pelatihan jenis
supervised learning
yang sering digunakan. Metode ini merupakan salah satu PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
W
10
W
k0
W
m0
W
11
W
k1
W
m1
W
1j
W
kj
W
mj
W
1p
W
kp
W
mp
V
10
V
j0
V
p0
V
11
V
1i
V
p1
V
11
V
ji
V
pi
V
1n
V
jn
V
pn
metode yang sangat baik dalam menangani masalah pengenalan pola yang kompleks.
Backpropagation
memiliki beberapa unit yang ada dalam satu atau lebih layar tersembunyi. Gambar 2.5 adalah arsitektur
backpropagation
dengan n buah masukan ditambah sebuah bias, sebuah layar tersembunyi yang terdiri dari p unit
ditambah sebuah bias, serta m buah unit keluaran. V
ji
merupakan bobot garis dari unit masukan X
i
ke unit layar tersembunyi Z
j
V
j0
merupakan bobot garis yang menghubungkan bias di unit masukan ke unit layar tersembunyi Z
j
. W
kj
merupakan bobot dari unit layar tersembunyi Z
j
ke unit keluaran Y
k
W
k0
merupakan bobot dari bias di layar tersembunyi ke unit keluaran Z
k
Gambar 2.5 Siang 2009 Dalam
Backpropagation
, fungsi aktivasi yang dipakai harus memenuhi beberapa syarat yaitu : kontinu, terdiferensial dengan mudah dan merupakan
fungsi yang tidak turun. Salah satu fungsi yang memenuhi ketiga syarat tersebut sehingga sering dipakai adalah fungsi
sigmoid biner
yang memiliki range 0,1.
Y
1
Y
k
Y
m
Z
1
Z
j
Z
p
1
X
1
X
i
X
n
1
