Inisialisasi Bobot Awal dan Bias

30

2.3.3. Inisialisasi Bobot Awal dan Bias

Bobot merupakan salah satu faktor penting agar jaringan dapat melakukan generalisasi dengan baik terhadap data yang dilatihkan kedalamnya Fitrisia dan Rakhmatsyah, 2010. Pemilihan inisialisasi bobot awal akan menentukan apakah jaringan mencapai global minimum atau hanya lokal minimum dan seberapa cepat konvergensi jaringannya. Peng-update-an antara dua buah neuron tergantung dari kedua turunan fungsi aktivasi yang digunakan pada neuron yang berada pada lapisan diatasnya dan juga fungsi aktivasi neuron yang berada pada lapisan bawahnya. Nilai untuk inisialisasi bobot awal tidak boleh terlalu besar, atau sinyal untuk setiap hidden atau output neuron kemungkinan besar akan berada pada daerah dimana turunan dari fungsi sigmoid memiliki nilai yang sangat kecil. Dengan kata lain, jika inisialisasi bobot awal terlalu kecil, input jaringan ke hidden atau output neuron akan mendekati nol, yang mana akan menyebabkan pelatihan akan menjadi sangat lambat Fausset, 1994. Ada beberapa metode inisilisasi bobot yang dapat digunakan, yaitu:

2.3.3.1. Inisialisasi Acak

Prosedur umum yang digunakan adalah menginisialisasi bobot dan bias baik dari input neuron ke hidden neuron maupun dari hidden neuron ke output neuron dengan nilai acak antara -0.5 dan 0.5 atau antara -1 dan 1 atau dengan menggunakan interval tertentu – dan . Nilai bobot menggunakan nilai posotif atau negatatif karena nilai bobot akhir setelah pelatihan juga dapat bernilai keduanya.

2.3.3.2. Inisialisasi Nguyen-Widrow

Inisialisasi Nguyen-Widrow merupakan modifikasi bobot acak yang membuat inisialisasi bobot dan bias ke hidden neuron sehingga menghasilkan iterasi lebih cepat. Universitas Sumatera Utara 31 Bobot-bobot dari hidden neuron ke output neuron dan bias pada output neuron diinisialisasikan dengan nilai acak antara -0.5 dan 0.5. Inisialisasi bobot-bobot dari input neuron ke hidden neuron didesain untuk meningkatkan kemampuan hidden neuron untuk belajar. Inisialisasi bobot dan bias secara acak hanya dipakai dari input neuron ke hidden neuron saja, sedangkan untuk bobot dan bias dari hidden neuron ke output neuron digunakan bobot dan bias diskala khusus agar jatuh pada range tertentu. Faktor skala Nguyen-Widrow didefinisikan sebagai berikut: = 0.7 � 1 23 Keterangan: n : Banyak input neuron p : Banyak hidden neuron β : Faktor skala Prosedur Inisialisasi Nguyen-Widrow terdiri dari langkah-langkah sederhana sebagai berikut: Untuk setiap hidden neuron j = 1, ..., p: = − 0.5 0.5 − Hitung = 1 2 + 2 2 + … + 2 24 Bobot yang dipakai sebagai inisialisasi: = | | 25 Bias yang dipakai sebagai inisialisasi: = − Universitas Sumatera Utara 32

2.3.4. Momentum �