3 Algoritma JST Backpropagation

Algoritma JST Backpropagation

Arsitektur JST Backpropagation
p p g
Contoh Arsitekstur JST Backpropagation dengan:
y n unit masukkan
y p unit layer tersembunyi
y m unit masukkan
1

1
V10
Vp0

X1

W20

V20

Wm0

Z1

V11

Y1

W11
W21

V21

Vp1

W10

Wm1

V12
X2

W12
Z2

V22

V1n

W1p
W2p

V2m

Layer Masukkan

Y2

Wm2

Vm2

Xn

W22

Vpn

Zp

Layer tersembunyi

Wmp

Ym

Layer Keluaran

Fungsi Aktifasi
Fungsi
g aktifasi yyangg digunakan
g

ppada backpropagation
p pg
yyaitu sigmoid
g
biner
dan sigmoid bipolar

Fungsi Aktifasi

Alg it
Algoritma
P l tih Backpropagation
Pelatihan
B k
g ti
Algoritma Pelatihan Backpropagation dengan satu layer tersembunyi dan
dengan menggunakan fungsi aktivasi sigmoid biner
1

X1

1
Vp0
V11

V20

V10

W20 W10

Z1

Vp1 V21
X2

V12

Z2

V22
Vm2
V1n

Xn

V2m
Vpn

Zp

Wm0
W11

W2
Wm1
1
W12
W22
Wm2

W1p
W2p
Wmp

Y1

Y2

Ym

y Langkah 0 : Inisialisasi semua bobot dengan bilangan acak kecil.
y Langkah
L
k h 1 : Jika
Jik kondisi
k di i penghentian
h i belum
b l terpenuhi,
hi lakukan
lk k

langkah 2 sampai dengan 8.
y Langkah
g
2: Untuk setiapp ppasangg data ppelatihan,, lakukan langkah
g 3
sampai dengan 8

Alg it
Algoritma
P l tih Backpropagation
Pelatihan
B k
g ti
1

X1

1
Vp0

V
V11

V20

V10

W20 W1

Z1

Vp1 V21
X2

Xn

V12

Z2

V22
Vm2
V1n
V2m
Vpn

Zp

Wm0
W11

0

W2
Wm1
1
W12
W22
Wm2
W1p

W2p
Wmp

Fase I: Propagasi Maju
y

Langkah 3

Tiap unit masukkan menerima sinyal dan meneruskan ke unit tersembunyi
y

Langkah 4

Hitung semua keluaran di unit tersembunyi (Zj):

Y1

Y2

Ym

Alg it
Algoritma
P l tih Backpropagation
Pelatihan
B k
g ti
1

X1

1
Vp0
V
V11

V20

V10

W20 W1

Z1

Vp1 V21
X2

Xn

V12

Z2

V22
Vm2
V1n
V2m
Vpn

Zp

Wm0
W11

0

W2
Wm1
1
W12
W22
Wm2
W1p
W2p
Wmp

y Langkah
L
k h5

Hitung semua jaringan di unit keluaran (yk)

Y1

Y2

Ym

Alg it
Algoritma
P l tih Backpropagation
Pelatihan
B k
g ti
1

X1

1
Vp0
V
V11

V20

V10

W20 W1

Z1

Vp1 V21
X2

Xn

V12

Z2

V22
Vm2
V1n
V2m
Vpn

Zp

Wm0
W11

0

W2
Wm1
1
W12
W22
Wm2
W1p
W2p
Wmp

Y1

Y2

Ym

Fase II : Propagasi
p g Maju
j
y Langkah 6
Hitung factor δ unit keluaran berdasarkan kesalahan setiap unit keluaran yk (k=1,2,3….)

δk=(tk-yyk) f ’(y
(y_net
netk)= (tk-yyk) yk (1-y
(1 yk)
δk meruapakan unit kesalahan yang akan dipakai dalam perubahan bobot layer dibawahnya (lankah 7)
Hitung suku perubahan bobot Wkj dengan laju perubahan α

∆wkj= α δk zj

; k=1,2,3,…,m ; j=0,1,2,…,p

Algoritma Pelatihan Backpropagation
1

1
Vp0
V11

X1

V20

V10
Z1

Vp1 V21
X2

V12

Z2

V22
Vm2
V1n
1

Xn

V2m
Vpn

Zp

W20 W1
Wm0
0
W11

W2
Wm1
1
W12
W
Wm2 22
W1p
1
W2p
Wmp

y Langkah 7

Hitungg factor δ unit tersembunyi
y berdasarkan kesalahan di setiapp unit tersembunyi
y zj (j=1,2,3,…,p)
j
p

Faktor unit tersembunyi

δj = δ_netj f ’(z_netj)= δ_netj zj (1-zz)
Hitung suku perubahan bobot vji

∆vji=α δjxi

; j=1,2,…,p ; i=0,1,2,…,n

Y1

Y2

Ym

Alg it
Algoritma
P l tih Backpropagation
Pelatihan
B k
g ti
1

X1

1
Vp0
V
V11

V20

V10

W20 W1

Z1

Vp1 V21
X2

V12

Z2

V22
Vm2
V1n

Xn

V2m
Vpn

Zp

Wm0
W11

W2
Wm1
1
W12
W22
Wm2
W1p
W2p
Wmp

Fase III : Perubahan Bobot
y Langkah 8

Perubahan bobot garis yang menuju unit keluaran

wkj (baru)= wkj (lama) + ∆wkj
Perubahan bobot garis yang menuju ke unit tersembunyi

Vji (baru)= vji (lama) + ∆vji

0

Y1

Y2

Ym

Laju Pemahaman
y Laju pemahaman di simbolkan dengan α
y Laju pemahaman menentukan lama iterasi
y Nilai dari α diantara 0 sd 1
y Semakin besar nilai α semakin cepat lama iterasi
y Akan tetapi jika terlalu besar akan merusak pola,

sehingga
hi
jjustru
t akan
k llebih
bih lama
l
iterasinya
it
i

Epoch
y Epoch yaitu satu siklus pelatihan yang melibatkan semua pola
y Misal jika suatu arsitektur JST terdapat 4 pola masukkan dan

1 target, maka pelatihan 4 pola masukkan tersebut adalah 1
epoch