Gambar 2.4 Ilustrasi Arsitektur Jaringan Lapis Majemuk Siang, 2005 Pada gambar 2.4 terdapat
n
buah unit
input
, , … , dan
m
buah unit
output
� , � , … , �
,
sebuah lapis tersembunyi yang terdiri dari
p
buah unit , … , . Jaringan ini dapat menyelesaikan masalah
yang lebih kompleks.
2.2.1 Jaringan Syaraf Tiruan Propagasi Balik Back Propagation
Jaringan Syaraf
Tiruan
BackPropagation
pada umumnya
membandingkan perhitungan keluaran Jaringan Syaraf Tiruan dengan target keluaran dan menghitung nilai
error
untuk setiap unit jaringan.
BackPropagation
adalah salah satu algoritma yang menggunakan metode terawasi
supervised learning
, dan termasuk jaringan MLP
Multi Layer Perceptron
Jaringan Lapis Majemuk.Metode ini merupakan salah satu metode yang sangat baik dalam menangani masalah pengenalan pola-pola
kompleks. Di dalam jaringan ini, setiap unit yang berada di lapisan
input
berhubungan dengan setiap unit yang ada di lapisan tersembunyi. Sedangkan setiap unit di lapisan tersembunyi berhubungan dengan setiap
unit di lapisan
output
. Dalam pola pelatihannya, jaringan ini akan diberi
input-
an yang akan diteruskan ke dalam layar tersembunyi dan menuju hingga
output
. Ketika hasil keluaran ternyata tidak sesuai dengan harapan maka keluaran
akan kembali disebarkan mundur
backward
pada lapisan tersembunyi PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
hingga menuju
input
. Tahap selanjutnya adalah dengan melakukan perubahan bobot. Iterasi ini terus dilakukan hingga ditemukan penyelesaian
yang optimal Siang, 2005. 1.
Arsitektur
Back Propagation
Gambar 2.5 Ilustrasi Arsitektur Back Propagation Siang, 2005 Gambar 2.5 merupakan arsitektur jaringan syaraf tiruan
back propagation
dengan
n
buah
input
ditambah sebuah bias, sebuah lapis tersembunyi yang terdiri dari
p
unit ditambah sebuah bias, dan sebuah lapis unit keluaran.
2. Fungsi Aktivasi
Dalam jaringan syaraf tiruan
back propagation,
fungsi aktivasi yang dipakai harus memenuhi beberapa syarat, yaitu :
kontinu, terdeferensial dengan mudah dan merupakan fungsi yang tidak turun. Salah satu fungsi yang memenuhi ketiga syarat tersebut
sehingga sering dipakai adalah fungsi
sigmoidbiner
yang memiliki
range
0,1. =
+
−�
dengan turunan
′
= −
2.6 Fungsi lain yang sering dipakai adalah
sigmoid bipolar
dengan
range
-1,1. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
=
+ −�
−
dengan turunan
′
=
+ � − �
2.7 Fungsi
sigmoid
memiliki nilai maksimum = 1. Maka untuk pola yang targetnya 1, pola masukkan dan keluaran harus terlebih
dahulu ditransformasi sehingga semua polanya memiliki
range
yang sama seperti fungsi
sigmoid
yang dipakai. Alternatif lain adalah menggunakan fungsi aktivasi
sigmoid
hanya pada lapis yang bukan lapis keluaran. Pada lapis keluaran, fungsi aktivasi yang dipakai
adalah fungsi identitas : = .
3. Proses Pelatihan
Back Propagation
Proses Pelatihan Jaringan Syaraf Tiruan
Back Propagation
terdiri dari 3 proses yaitu propagasi maju, propagasi mundur, perubahan bobot. Ketiga proses tersebut diulang-ulang sampai kondisi
penghentian terpenuhi. Umumnya penghentian yang dipakai adalah iterasi dan
error
. Iterasi akan dihentikan jika iterasi melebihi iterasi yang ditentukan. Atau jika
error
sudah lebih kecil dari yang ditentukan.
1. Propagasi Maju
Selama propagasi
maju, sinyal
masukkan =
dipropagasikan ke lapis tersembunyi menggunakan fungsi aktivasi yang ditentukan. Keluaran dari setiap unit lapis
tersembunyi = tersebut selanjutnya dipropagasikan maju
lagi ke lapis tersembunyi di atasnya. Demikian seterusnya hingga mendapatkan luaran jaringan
= .
Berikutnya, luaran jaringan =
dibandingkan dengan target yang harus dicapai
= . Selisih
− adalah
error
yang terjadi. Jika nilai
error
lebih kecil dari yang telah ditentukan, maka iterasi dihentikan, jika tidak, maka bobot
setiap garis dimodifikasi untuk mengurangi
error
yang terjadi. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
2. Propagasi Mundur
Berdasarkan
error
− , dihitung faktor � =
, , … , yang dipakai untuk mendistribusikan
error
di unit ke semua unit tersembunyi yang terhubung langsung dengan
. � juga dipakai untuk mengubah bobot garis yang berhubungan
langsung dengan unit luaran.
Dengan cara yang sama, dihitung faktor � di setiap unitlapis
tersembunyi sebagai dasar perubahan bobot semua garis yang berasal dari unit tersembunyi di bawahnya. Demikian seterusnya
hingga semua faktor � di unit tersembunyi yang berhubungan
langsung dengan unit masukkan dihitung. 3.
Perbaikan Bobot Setelah semua faktor
� dihitung, bobot semua garis dimodifikasi bersamaan. Perubahan bobot suatu garis didasarkan
atas faktor �
neuron
di lapis atasnya.
Algoritma pelatihan untuk jaringan dengan satu layar tersembunyi dengan fungsi aktifasi
sigmoid biner
adalah sebagai berikut Siang, 2005 :
Langkah 0: Inisialisasi semua bobot dengan bilangan acak kecil. Langkah 1: jika kondisi penghentian belum terpenuhi maka lakukan
langkah 2-9. Langkah 2: untuk setiap pasang data pelatihan, lakukan langkah 3-8
Fase I : Propagasi Maju
Langkah 3: tiap unit masukan menerima sinyal kemudian meneruskan ke unit tersembunyi di atasnya.
Langkah 4: hitung semua keluaran di unit tersembunyi j = 1, 2,
… ,
p
_ =
+ ∑
=
2.8 = _
2.9 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Langkah 5: hitung semua keluaran di unit tersembunyi k = 1, 2,
… , m. _
= + ∑
=
2.10 =
_ 2.11
Fase II : Propagasi Mundur
Langkah 6: hitung faktor � unit keluaran berdasarkan
error
setiap unit keluaran
k = 1, 2, … , m. � =
− −
2.12 Hitung suku perubahan bobot
dengan laju percepatan ∆
= � ; = , , … , ; = , , … , 2.13
Langkah 7: hitung faktor � unit tersembunyi berdasarkan
error
di setiap unit tersembunyi
= = , , … , �_
= ∑ �
=
2.14 � = �_
− 2.15
Hitung suku perubahan bobot ∆
= � ; = , , … , ; = , , … , 2.16
Fase III : Perubahan Bobot
Langkah 8: Hitung semua perubahan bobot Perubahan bobot garis yang menuju ke unit keluaran:
� = + ∆
= , , … , ; = , , … ,
2.17 Perubahan bobot garis yang menuju ke unit tersembunyi:
� = + ∆
= , , … , ; = , , … ,
2.18 Langkah 9: bandingkan kondisi penghentian
Jaringan Syaraf Tiruan
Back Propagation
memiliki kelemahan tentang berapa
epoch
yang harus dilalui untuk memperoleh hasil yang diinginkan.
Faktor-faktor penting dari Jaringan Syaraf Tiruan
Back Propagation
agar jaringan bekerja dengan maksimal adalah: 1.
Pemilihan Bobot dan Bias Awal PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
Nguyen dan widrow 1990 mengusulkan cara membuat inisialisasi bobot dan bias ke unit tersembunyi sehingga
menghasilkan iterasi yang lebih cepat. Misal:
n = jumlah unit masukan
p = jumlah unit tersembunyi
= factor skala = .7 √
�
Algoritma inisialisasi: Langkah 1:
Inisisalisasi semua bobot dengan
bilangan acak dalam interval [-0.5, 0.5]. Langkah 2:
hitung ‖ ‖ = √ +
+ ⋯ + 2.20
Langkah 3: bobot yang dipakai sebagai inisialisasi =
=
� ‖ ‖
2.21 Langkah 4:
bias yang dipakai sebagai inisialisasi = =
bilangan acak antara – dan .
2. Jumlah Unit Tersembunyi
Jaringan dengan sebuah lapis tersembunyi sudah cukup bagi Jaringan Syaraf Tiruan
Back Propagation
untuk mengenali sembarang kelas antara masukan dan target dengan tingkat
ketelitian yang ditentukan. Jika jaringan memiliki lebih dari 1 lapis tersembunyi maka
algoritma pelatihan perlu direvisi. Dalam Fase I, keluaran harus dihitung untuk tiap lapis, dimulai dari lapis tersembunyi paling
bawah. Kemudian dalam fase II, faktor � perlu dihitung untuk
tiap lapis tersembunyi, dimulai dari lapis keluaran. 3.
Jumlah Pola Pelatihan Jumlah pola pelatihan ditentukan oleh banyaknya bobot
dan tingkat akurasi yang diinginkan. ℎ
=
ℎ
2.22 PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
2.3 Pengenalan Pola
