Analisis Perbandingan Online Dan Offline Training Pada Jaringan Backpropagation Pada Kasus Pengenalan Huruf Abjad
BAB II DASAR TEORI Landasan teori adalah teori-teori yang relevan dan dapat digunakan untuk
menjelaskan variabel-variabel penelitian. Landasan teori ini juga berfungsi sebagai dasar untuk memberi jawaban sementara terhadap rumusan yang diajukan serta membantu dalam penyusunan instrument penelitian.
2.1. Jaringan Syaraf Tiruan
Jaringan Syaraf Tiruan (artifical neural network) atau di singkat JST adalah sistem komputasi dimana arsitektur dan operasi di ilhami dari pengetahuan tentang sel syaraf biologi di dalam otak (Hermawan, 2006). JST dapat digambarkan sebagai model matematis dan komputasi untuk fungsi aproksimasi non-linear, klasifikasi data cluster dan regresi non-parametrik atau sebuah simulasi dari koleksi model saraf biologi.
Model saraf ditunjukkan dengan kemampuannya dalam emulasi, analisis, prediksi dan asosiasi. Kemampuan yang dimiliki JST dapat digunakan untuk belajar dan menghasilkan aturan atau operasi dari beberapa contoh atau input yang dimasukkan dan membuat prediksi tentang kemungkinan output yang akan muncul atau menyimpan karakteristik dari input yang disimpan kepadanya. Jaringan syaraf merupakan sebuah kelompok pengolahan elemen dalam suatu kelompok yang khusus membuat perhitungan sendiri dan memberikan hasilnya kepada kelompok kedua atau berikutnya. Setiap sub-kelompok menurut gilirannya harus membuat perhitungan sendiri dan memberikan hasilnya untuk subgrup atau kelompok yang belum melakukan perhitungan. Pada akhirnya sebuah kelompok dari satu atau beberapa pengolahan elemen tersebut menghasilkan keluaran (output) dari jaringan.
Setiap pengolahan elemen membuat perhitungan berdasarkan pada jumlah masukan (input). Sebuah kelompok pengolahan elemen disebut layer atau lapisan dalam jaringan. Lapisan pertama adalah input dan yang terakhir adalah output. Lapisan di antara lapisan input dan output disebut dengan lapisan tersembunyi (hidden layer). Jaringan sayaraf tiruan merupakan suatu bentuk arsitektur yang terdistribusikan paralel dengan sejumlah besar node dan hubungan antar-node tersebut. Tiap titik hubungan dari satu node ke node yang lain mempunyai harga yang diasosiasikan dengan bobot. Setiap node memiliki suatu nilai yang diasosiasikan sebagai nilai aktivasi node.
2.2. Backpropagation
Jaringan perambatan galat (backpropagation) merupakan salah satu algoritma yang sering digunakan dalam menyelesaikan masalah
- – masalah yang rumit. Hal ini dimungkinkan karena jaringan dengan algoritma ini dilatih dengan menggunakan metode belajar terbimbing. Pada jaringan diberikan sepasang pola yang terdiri atas pola masukan dan pola yang diinginkan. Ketiak suatu pola diberikan kepada jaringan, bobot-bobot diubah untuk memperkecil perbedaan pola keluaran dan pola yang diinginkan. Latihan ini dilakukan berulang-ulang sehingga semua pola yang dikeluarkan jaringan dapat memenuhi pola yang diinginkan (Hermawan, 2006).
Backpropagation atau biasa sering disebut jaringan feed forward, mampu berevolusi melalui perubahan bobot pada jaringan yang biasa digunakan untuk bidang prediksi, klasifikasi dan fungsi aproksimasi (Tiwari, 2013). Algoritma pelatihan jaringan saraf perambatan galat mundur terdiri atas dua langkah, yaitu perambatan maju dan perambatan mundur. Langkah perambatan maju dan perambatan mundur ini dilakukan pada jaringan untuk setiap pola yang diberikan selama jaringan mengalami pelatihan.
Sebuah jaringan backpropagation sederahana terdiri dari sebuah input dan output layer. Input pada input layer diteruskan melalui bobot untuk membawa input menuju lapisan output (Muijrers, 2011). Jaringan perambatan galat mundur terdiri atas tiga lapisan atau lebih unit pengolah. Ketiga lapisan tersebut terhubung secara penuh. Perambatan galat maju dimulai dengan memberikan pola masukan ke lapisan masukan. Pola masukan ini merupakan nilai aktivasi unit-unit masuka. Dengan melakukan perambatan maju dihitung nilai aktivasi pada unit-unit di lapisan berikutnya. Pada setiap lapisan, tiap unit pengolah melakukan penjumlahan berbobot dan menerapkan fungsi sigmoid untuk menghitung keluarannya. y
1
y
m
… u j1 u 1m
Output
u l1
Layer u
11
u j1 u
lm
b
1 b l b j
… …
Hidden
v
il
v v v
Layer 11 1l kl v ij
v k1 v v kj i1 v 1j a
1 a k a i
… … w
11 w 1k w nk w ni Input
w n1
Layer
w 1i x
1
x n …
Gambar 2.1 : Arsitektur Multilayer Neural NetworkSumber : Hermawan, A Algoritma selengkapnya elatihan jaringan backpropagation adalah sebagai berikut (Hermawan, 2006) : Langkah 0 :Inisialisasi bobot (ambil bobot awal dengan nilai random yang cukup kecil). Langkah 1 :Bila syarat berhenti adalah salah, kerjakan langkah 2 sampai 9 Langkah 2 :Untuk setiap pasangan pelatihan, kerjakan langkah 3-8.
Feedforward:
Langkah 3 : Tiap-tiap unit input (X , i=1,2,3,...,n) menerima sinyal x dan
i i
meneruskan sinyal ke semua unit pada lapisan hidden (lapisan tersembunyi). Langkah 4 : Tiap-tiap unit lapisan tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan sinyal-sinyal input terbobot: n z_in + j = v 0j x v (2.1) i ij
i 1 v=Bobot awal input ke hidden.
Gunakan fungsi aktivasi untuk menghitung sinyal outputnya: z = f(z_in ) (2.2)
j j
dan mengirimkan sinyal tersebut ke semua unit di lapisan atasnya (unit unit output).
Langkah 5 : Tiap-tiap output (Y k , k=1,2,3,...,m) menjumlahkan sinyal-sinyal input terbobot.
p
- y_in = w z w (2.3)
k 0k
j jk
j
1
gunakan fungsi aktivasi untuk menghitung sinyal outputnya: y k = f(y_in k ) (2.4) dan kirimkan sinyal tersebut ke semua unit di lapisan hidden (lapisan tersembunyi). Catatan: Langkah (b) dilakukan sebanyak jumlah lapisan tersembunyi.
Backpropagation
Langkah 6 : Tiap-tiap unit output (Y , k=1,2,3,...,m) menerima target pola yang
k
berhubungan dengan pola input pembelajaran, hitung informasi errornya k = (t k -y k k ) (2.5)
) f’(y_in Kemudian hitung koreksi bobot (yang nantinya akan digunakan untuk memperbaiki nilai w jk ):
w jk = k z j (2.6)
Hitung juga koreksi bias w 0k = k (2.7)
Langkah 7 : Tiap-tiap unit lapisan tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan delta inputnya (dari unit-unit yang berada dilapisan hidden). m
w
_in j = (2.8) k jk
k 1
Kalikan nilai ini dengan turunan dari fungsi aktivasi untuk menghitung informasi error: = )
j _in j j (2.9) f’(z_in kemudian hitung koreksi bobot:
v ij = j x i (2.10) Langkah 8 :Tiap-tiap unit ouput (Y k , k=1,2,3,...,m) memperbaiki bias dan bobotnya (j=1,2,3,...,p): w jk (baru) = w jk (lama) + w jk (2.11)
Tiap-tiap unit lapisan tersembunyi (Zj, j=1,2,3,...,p) memperbaiki nilai bias dan bobotnya (i=1,2,3,...,n. ): v ij (baru) = v ij (lama) + v ij (2.12) Langkah 9 : Uji syarat berhenti.
2.3. Online Backpropagation
Online backpropagation merupakan jaringan backpropagation yang menggunakan
proses update secara online. Online dimaksudkan setiap perubahan bobot dilakukan pada setiap sample atau pada setiap input. Pelatihan dimulai dengan memasukkan nilai input dan melakukan perambatan maju, error kemudian dikalkulasi dan update bobot baru langsung diterapkan untuk input tersebut. Proses update bobot dilakukan untuk setiap varian input (Istook, 2003).
Online training dapat juga disebut sebagai stochastic training, dimana
pelatihan dilakukan dengan memilih sebuah sample tunggal yang dapat dilakukan secara acak untuk digunakan sebagai input pada tiap iterasi pelatihan (LeCun, 1998). Perkiraan terhadap gradient kemudian dikomputasi berdasarkan error dari iterasi tersebut dan perubahan bobot kemudian dapat dilakukan. Beberapa kelebihan On-Line training yaitu sebagai berikut (LeCun, 1998) :
Online training biasanya lebih cepat daripada Offline training Pelatihan Online training juga biasanya memberikan hasil yang lebih baik ketimbang Offline training.
Online training dapat dilakukan untuk mendeteksi pola input.
Backpropagation mungkin algoritma pembelajaran yang paling popular, algoritma untuk perceptron multilayer merupakan jenis arsitektur jaringan saraf yang sederhana dan efekif. Ini adalah metode backpropagtion secara online dengan tingkat adaptif pembelajaran secara global yang didasari oleh ide yang disebut sudut tingkat peringatan yang di inisiasikan. Dengan nilai yang sangat kecil dan ditambah atau di kurangi sesuai dengan evolusi criteria kesalahan dari interiaksi terakhir.
Terdapat dua kelompok tingkat pembelajaran : 1.
Mengacu kepada metode penyesuaian tingkat pembelajaran secara keseluruhan untuk seluruh jaringan
2. Adaptasi secara independen tergantung tingkat masalah yang dihadapi
2.4. Offline Backpropagation
Offline backpropagation merupakan jaringan backpropagation yang menggunakan
proses update secara batch. Offline dimaksudkan setiap perubahan bobot dilakukan pada saat error dari tiap set diperoleh. Pelatihan dimulai dengan memasukkan nilai input dan melakukan perambatan maju, error kemudian ditampung dan disumarikan sampai pada sample input terakhir. Proses update bobot dilakukan berdasarkan error yang diperoleh dari semua set input (Istook, 2003).
Offline training dapat juga disebut sebagai batch training, dimana pelatihan
dilakukan dengan error dari setiap sample input ditampung terlebih dahulu kemudian digunakan untuk proses update bobot pada saat semua sample telah dilatih. Beberapa kelebihan Offline training yaitu sebagai berikut (LeCun, 1998) : Kondisi dari konvergensi dapat dengan mudah dilacak dan dipelajari.
Beberapa teknik peningkatan pembelajaran hanya bekerja pada off-line training.
Analisis teori terhadap perubahan bobot dan konvergensi lebih mudah.2.5. Klasifikasi Pada Jaringan Syaraf Tiruan
Jaringan syaraf tiruan merupakan bidang pengetahuan yang mana bertujuan untuk menciptakan mesin yang memiliki kecerdasan dan pemahaman dengan menerapkan simulasi dari system syaraf manusia (Cheriet, 2007). Sebuah jaringan syaraf tiruan terdiri dari beberapa neuron
- – neuron yang saling terhubung satu sama lain. Pada jaringan syaraf tiruan sebuah neuron sering juga disebut dengan sebuah unit atau sebuah node. Sebuah model neuron memiliki beberapa koneksi yang memiliki bobot, unit penjumlah dan sebuah fungsi aktivasi.
Jaringan syaraf tiruan mampu merekam pengetahuan yang direpresentasikan dengan bobot
pada koneksi antar neuron. Proses pelatihan sebuah jaringan syaraf tiruan merupakan- – kegiatan memberikan sejumlah input pada jaringan sehingga jaringan memodifikasi bobot bobot pada tiap koneksi neuronnya dalam rangka mempelajari input yang diberikan. Jaringan syaraf yang telah mampu memahami input yang telah diberikan kemudian dapat digunakan untuk kegiatan identifikasi dan klasifikasi. Kemampuan jaringan syaraf dalam melakukan identifikasi dan klasifikasi tidak terlepas pada kemampuannya beradaptasi terhadap input yang diberikan dalam bentuk perubahan bobot pada koneksi antar neuron.
(McClelland, 2013)
Kemampuan klasifikasi yang dimiliki oleh jaringan syaraf tiruan kemudian dimanfaatkan pada
berbagai bidang seperti bidang identifikasi objek dan klasifikasi pola. Beberapa set objekdiberikan kepada jaringan dalam proses pelatihan sehingga jaringan mampu mengenali dan
mengidentifikasi objek- – objek tersebut. Jaringan syaraf memberikan kelebihan tersendiri dibandingkan dengan metode identifikasi dan klasifikasi lain seperti metode yang menggunakan teknik pengolahan citra pada
umumnya, dimana jaringan syaraf membutuhkan media penyimpanan yang jauh lebih sedikit
disbandingkan dengan metode lain yang menggunakan teknik pengolahan citra sebagai basisnya.