3.4. Algoritma Pelatihan Jaringan Saraf Tiruan Back Propagation
Algoritma pelatihan jaringan saraf tiruan back propagation pada dasarnya terbagi menjadi 2 langkah yaitu langkah maju feed forward dan propagasi balik. Pada
langkah maju, perhitungan bobot-bobot neuron hanya didasarkan pada vektor masukan, Sedangkan pada propagasi balik, bobot-bobot diperhalus dengan
memperhitungkan nilai target atau keluaran.
Dalam melakukan klasifikasi hal yang dilakukan ialah dengan mencari nilai MSE Mean Square Error. Nilai mean square error MSE pada satu siklus pelatihan
langkah 2 – 10, dimana seluruh record dipresentasikan satu kali ialah nilai kesalahan error = nilai keluaran – nilai masukan rata-rata dari seluruh record yang
dipresentasikan ke jaringan saraf tiruan dan dirumuskan sebagai:
Semakin kecil MSE, jaringan saraf tiruan semakin kecil kesalahannya dalam memprediksikelas dari record yang baru. Maka, pelatihan jaringan saraf tiruan
ditujukan untuk memperkecil MSE dari satu siklus ke siklus berikutnya sampai selisih nilai MSE dari satu siklus ini dengan siklus sebelumnya lebih kecil atau sama dengan
batas minimal yang diberikan Dhaneswara et al, 2004.
3.5. Klasifikasi Jaringan Saraf Tiruan
Setelah dilakukan klasifikasi dengan regresi logistik maka akan dilakukan klasifikasi dengan menggunakan jaringan saraf tiruan. Pada tahap awal yaitu dengan melakukan
pelatihan pada jaringan saraf back propagation. Pelatihan ini dilakukan dengan penggunaan momentum pada perhitungan perubahan bobot-bobot, yang bertujuan
untuk melancarkan pelatihan dan mencegah agar bobot tidak “berhenti “ di sebuah nilai yang belum optimal. Perubahan bobot pada Algoritma 1 diubah menjadi:
dan , dimana
merupakan konstanta dari momentum dengan rentang [0,1] Dhaneswara et al, 2004.
Universitas Sumatera Utara
Namun terkadang dalam melakukan pelatihan muncul masalah dalam sistem yang terlalu berlebihan hal ini dikarenakan kapasitas jaringan melebihi parameter
bebas yang diperlukan secara signifikan. Untuk menghindari masalah ini hal yang dilakukan ialah dengan menggunakan cross validasi untuk meminimalkan kesalahan
dan menggunakan beberapa bentuk regularisasi yang merupakan konsep yang muncul secara alami dalam probabilitas Bayesian, dimana regularisasi tersebut dapat
dilakukan dengan memilih model sederhana yang lebih utama, tetapi dalam statistik tujuannya untuk meminimalkan resiko empiris dan resiko struktural yang sesuai
dengan kesalahan selama training set dan kesalahan prediksi pada data yang tak terlihat karena overfitting Wikipedia, 2011.
Setelah pelatihan selesai diakukan, maka model jaringan saraf tiruan akan digunakan untuk menglasifikasikan record baru. Klasifikasi ini cukup dilakukan
dengan langkah feed forward dan hasilnya berupa kelas yang diprediksi jaringan saraf tiruan untuk rekord yang baru ini. Langkah-langkah dalam melakukan klasifikasi
jaringan saraf tiruan dilakukan dengan Dhaneswara et al, 2004: Algoritma :
1. Menginisialisasi bobot awal dengan nilai acak yang sangat kecil, hitung mean square error MSE dan MSE inisialisasi.
2. Selama MSE , dengan
lakukan: 3. Untuk setiap rekord pada set data pelatihan lakukan:
Feedforward:
4. Setiap unit masukan menerima vektor masukan
dan mengirimkan vektor ini ke seluruh unit pada lapis diatasnya hidden
layer. 5. Setiap unit hidden
menjumlahkan bobot dari vektor masukan:
hitung keluaran fungsi aktivasi: kirimkan vektor ini ke unit-
unit pada lapis di atasnya lapis keluaran.
Universitas Sumatera Utara
6. Setiap unit keluaran menjumlahkan vektor masukan:
hitung keluaran dari fungsi aktivasi:
Propagasi balik dari error:
7. Setiap unit keluaran menerima vektor hasil yang
diinginkan untuk data masukan tersebut, hitung error-nya
Hitung nilai koreksi bobotnya dengan sebagai learning ratenya: , hitung nilai koreksi biasnya:
kirimkan ke unit
pada lapis dibawahnya. 8. Setiap unit hidden
menjumlahkan delta masukannya dari unit-unit pada lapis diatasnya:
Kalikan dengan turunan dari fungsi aktivasinya untuk menghitung errornya:
hitung nilai koreksi bobotnya: .
Perbaharui bobot dan bias:
9. Setiap unit keluaran memperbaharui bias dan bobotnya
.
Setiap unit tersembunyi memperbaharui bias dan
bobotnya .
. MSElama=MSE. Hitung
10. Uji kondisi berhentinya
Universitas Sumatera Utara
Keterangan notasi untuk algoritma 1: x
= vektor masukan = x
1
, …, x
i
, …, x
n
, t
= vektor keluaran= t
1
, …, t
k
, …, t
m
δ
k
= nilai koreksi bobot error untuk w
jk
yang disebabkan oleh error pada unit keluaranY
k .
δ
j
= nilai koreksi bobot error untuk yang disebabkan oleh informasi propagasi balik dari error pada lapis keluaran ke unit tersembunyi Z
j
. α
= konstanta laju pembelajaran learning rate. X
i
= unit masukan i. v
0j
= bias pada unit tersembunyi j. Z
j
= unit tersembunyi j. w
0k
= bias pada unit keluaran k. Y
k
= unit keluaran k. Fungsi aktivasi yang dapat digunakan pada propagasi balik ialah:
Binary sigmoid: mempunyai rentang diantara 0 dan 1, fungsi identitas
merupakan fungsi aktivasi untuk semua unit input, fungsi sigmoid bipolartangent sigmoid
mempunyai rentang diantara -1 dan 1.
Universitas Sumatera Utara
Analisis dan arsitektur pada jaringan saraf tiruan dalam hal pengklasifikasian data demografi ialah dengan menggunakan jaringan saraf tiruan jumlah hidden layer yang
digunakan 1 dengan 5 unit hidden layer, dengan learning rate 0,4. Dan fungsi aktivasi yang digunakan ialah fungsi aktivasi binary sigmoid. Untuk lebih jelasnya dapat di
lihat pada tabel di bawah ini Lampiran B:
Tabel 6:
Tabel Informasi Jaringan Saraf Tiruan
Network Information
Input Layer Covariates
1 DR
2 fertilisasi
3 mortalitas
4 migrasi
Number of Units
a
4 Rescaling Method for
Covariates Standardized
Hidden Layers Number of Hidden Layers
1 Number of Units in Hidden
Layer 1
a
5 Activation Function
Hyperbolic tangent Output Layer
Dependent Variables 1
LPP Number of Units
1 Rescaling Method for Scale Dependents
Normalized Activation Function
Sigmoid Error Function
Sum of Squares a. Excluding the bias unit
Universitas Sumatera Utara
Tabel 7: Bobot Lapisan Input Ke Lapisan Tersembunyi
Parameter Estimates
Predictor Predicted
Hidden Layer 1 Output
Layer H1:1
H1:2 H1:3
H1:4 H1:5
LPP Input
Layer Bias
-.103 .259
2.073 -.215
.285 DR
1.739 -1.004
.236 -.192
-1.424 fertilisasi
.169 -.109
-.861 .697
-.913 mortalitas
.249 .018
.360 .818
.272 migrasi
.930 -.838
3.072 -.407
-.141 Hidden
Layer 1 Bias
-.844 H1:1
-.110 H1:2
-.543 H1:3
2.436 H1:4
.044 H1:5
-.863
Universitas Sumatera Utara
Sehingga diperoleh hasil penglasifikasian data demografi Indonesia dengan menggunakan jaringan saraf tiruan yang diproses dengan menggunakan spss 17 dapat
dilihat pada tabel di bawah ini Lampiran B:
Tabel 8:
Dari tabel terlihat bahwa berdasarkan data training kesalahan klasifikasi pada jaringan saraf tiruan ialah sebesar 0,936. Hal ini terlihat pada nilai sum of square error..
Sedangkan pada data Testing kesalahan klasifikasi ialah sebesar 0,081 atau dengan kata lain tingkat errornya sebesar 8,1 .
Model Summary
Training
Sum of Squares Error
.936 Relative Error
.478 Stopping Rule Used
1 consecutive steps with no
decrease in error
a
Training Time 0:00:00.016
Testing
Sum of Squares Error
.081 Relative Error
.215 Dependent Variable: LPP
a. Error computations are based on the testing sample.
Universitas Sumatera Utara
Gambar 3.1 : Arsitektur Jaringan Saraf Dengan 1 Hidden Layer
3.6. Perbandingan Klasifikasi Regresi Logistik Dan Jaringan Saraf Tiruan
Kategori