x =1
w x
1
w
1
x
2
w
2
w
n
n
w
i
x
i i
=0
o =
1 jika
n j
=0
w
i
x
j
x
n
− 1 untuk yang lainnya
Gambar 2.8 Perceptron
x
1
, x
2
, ... , x
n
adalah input, o x
1
,..., x
n
adalah output dan w
i
adalah konstanta real atau bobot weight, dimana bobot menentukan kontribusi dari input x
i
pada output perceptron. Fungsi perceptron dapat dituliskan sebagai : r
r r o
x = sgn
w ⋅ x
2.5 dan
dengan
1
sgn y =
−1 jika
jika
r r
y y
≤0
2.6
y = w
⋅ x 2.7
2.4.1. Aturan Pembelajaran Perceptron
Masalah pembelajaran
perceptron tunggal
adalah menentukan vektor bobot, karena perceptron menghasilkan output
± 1 untuk setiap contoh percobaan. Beberapa algoritma diketahui dapat menyelesaikan permasalahan tersebut, antara lain: perceptron
rule dan delta rule. Algoritma tersebut sangat penting dalam jaringan
saraf buatan karena merupakan dasar dari pembelajaran jaringan untuk lapisan banyak.
15
Salah satu cara untuk mempelajari vektor bobot yang tepat yaitu dimulai dengan penentuan bobot secara acak, kemudian secara
iteratif dengan menggunakan perceptron untuk menghasilkan output pada setiap contoh percobaan, setelah itu memodifikasikan bobot
perceptron . Proses ini terus diulang sampai pengklasifikasian
perceptron untuk semua contoh percobaan menjadi tepat. Bobot
dimodifiikasi pada setiap langkah berdasarkan aturan pembelajaran perceptron
perceptron learning rule, yang meninjau kembali bobot w
i
dengan input x
i
berdasarkan kaidah:
dengan
keterangan: w
i
← w
i
+ ∆w
i
∆w
i
= η
t − o
x
i
2.8
2.9
t = target output contoh percobaan
o = output perceptron
η = konstanta positif yang disebut learning rate
2.4.2. Delta Rule
Perceptron rule dapat digunakan untuk mencari vektor bobot
yang paling tepat ketika contoh data percobaannya terpisah secara linear. Namun, tidak semua data dapat dipisahkan secara linear.
Dalam hal ini perceptron rule tidak mampu mengatasi permasalahan dengan kasus data yang tidak dapat dipisahkan secara linear, data
tersebut dikenal dengan istilah data non-linearly separable sets. Oleh
16
2
w karena itu, pada pembahasan yang berikutnya digunakanlah delta
rule yang dapat mengatasi permasalahan tersebut.
Kunci dari delta rule dalam mencari ruang hipotesis dari bobot vektor yang mungkin adalah dengan menggunakan gradient
descent sehingga didapatkan bobot yang paling tepat untuk suatu
contoh percobaan. Aturan ini penting karena gradient descent merupakan
dasar untuk
algoritma backpropagation
yaitu pembelajaran untuk jaringan dengan banyak unit yang terhubung.
Terdapat banyak cara untuk mendefinisikan nilai error dari model vektor bobot. Salah satu ukuran yang dapat menurunkan
nilai error dengan tepat adalah : r
1
2
E w
≡ t
d
− o
d d
∈D
3.0 dengan D adalah himpunan dari contoh data percobaan, t
d
adalah target output untuk contoh percobaan d dan o
d
adalah output dari unit linear untuk contoh percobaan d. Error E digolongkan sebagai fungsi
dari r
karena output unit linear o bergantung pada bobot vektor. Karena permukaan error terdiri dari minimum global tunggal,
algoritma delta rule hanya akan mengkonvergenkan vektor bobot dengan error minimum, tanpa memperhatikan apakah contoh
percobaannya terpisah secara linear atau tidak. Nilai
η
yang digunakan pada algoritma ini awalnya adalah bilangan yang tidak
kecil namun juga tidak terlalu besar, kemudian untuk mendapatkan
17
bobot yang tepat nilai
η
diperkecil setelah langkah perbaikan ke-n. Jika
η terlalu besar, pencarian turunan gradient akan menimbulkan resiko, yaitu terlalu banyaknya langkah yang dilakukan untuk
mencari permukan error yang minimum.
2.5. Gambaran Stokastik Untuk Gradient Descent
