22
exp 1
1
1
x x
f −
+ =
2.35 dengan turunannya adalah :
[ ]
1
1 1
1
x f
x f
x f
− =
2.36 Gambar 2.3 memperlihatkan fungsi sigmoid biner.
Gambar 2.3 Fungsi sigmoid biner, dengan rentang nilai 0,1
Fungsi aktivasi lain yang umum dipakai adalah bipolar sigmoid function fungsi sigmoid bipolar, yang mempunyai rentang nilai -1,1 dan didefinisikan sebagai :
1 exp
1 2
2
− −
+ =
x x
f
2.37 dengan turunannya adalah :
[ ][
]
1 1
2 1
2 2
2
x f
x f
x f
− +
=
2.38
Gambar 2.4 Fungsi sigmoid bipolar, dengan rentang nilai -1,1
x Fx
x Fx
23
Gambar 2.4. memperlihatkan fungsi sigmoid bipolar.
3.3. Memilih Bobot dan Prasikap Awal
Ada beberapa cara untuk menentukan inisialisasi bobot dan prasikap. Pilihan pertama adalah dengan inisialisasi acak random initialization. Pilihan bobot awal akan
mempengaruhi suatu jaringan apakah akan mencapai minimum global atau hanya mencapai minimum lokal dari galat, dan juga berpengaruh pada kecepatan menuju
konvergen. Penyesuaian bobot antara dua unit tergantung pada turunan pada fungsi aktivasi di unit atas dan fungsi aktivasi di unit bawah. Karena hal tersebut, maka
sangat penting untuk menghindari suatu bobot awal yang akan menyebabkan aktivasi dan turunan dari aktivasi sama dengan nol. Nilai bobot awal harus tidak terlalu besar
sehingga sinyal masukan awal pada tiap unit tersembunyi tidak berada di daerah di mana turunan dari fungsi sigmoid mempunyai nilai yang sangat kecil daerah
saturasijenuh. Sebaliknya, jika bobot awal terlalu kecil, net input pada unit tersembunyi atau unit keluaran akan dekat ke nol yang juga akan menyebabkan
pembelajaran berjalan dengan lambat. Prosedur yang umum untuk inisialisasi bobot dan prasikap adalah nilai acak
antara -0,5 dan 0,5 atau antara -1 dan 1 atau selang tertentu yang sesuai. Nilai tersebut boleh positif atau negatif karena bobot akhir setelah pelatihan juga bisa
keduanya. Cara inisialisasi lain adalah inisialisasi yang dikembangkan oleh Nguyen dan
Widrow 1990. Pendekatan dari cara ini berdasar pada analisis geometri dari tanggapan neuron tersembunyi pada masukan tunggal. Bobot dari unit tersembunyi
24
ke unit keluaran dan prasikap pada unit keluaran diinisialisasi secara acak dengan nilai antara -0,5 dan 0,5 seperti pada kasus secara umum.
Inisialisasi bobot dari unit masukan ke unit tersembunyi dirancang untuk meningkatkan kemampuan belajar dari unit tersembunyi.
Prosedur inisialisasi bobot menurut Nguyen dan Widrow adalah sebagai berikut :
Langkah 1 Hitung faktor skala :
n
p p
n
7 ,
7 ,
1
= =
β
dengan n adalah jumlah unit masukan dan p adalah jumlah unit tersembunyi.
Langkah 2 Untuk tiap unit tersembunyi j=1,….,p :
Inisialisasikan vektor bobot dari unit masukan : v
ij
lama=nilai acak antara -0,5 dan 0,5 atau antara -
γ dan
γ Hitung :
2 2
2 2
1
... lama
v lama
v lama
v lama
v
nj j
j j
+ +
+ =
Inisialisasikan kembali bobot :
lama v
lama v
v
j ij
ij
β =
Tentukan prasikap : v
0j
= nilai acak antara - β
dan β
.
3.4. Lama Pelatihan
Tujuan dari jaringan perambatan balik adalah untuk mencapai keseimbangan antara tanggapan yang benar untuk pola pelatihan dan tanggapan yang baik untuk
pola masukan yang baru keseimbangan antara mengingat dan generalisasi. Untuk
