Learning Rate Riset-riset terkait

adaptive linear neuron ADALINE, backpropagation, Gradient Type Network, Linear Associative Memory Hagan, 1996.

2.7. Learning Rate

α Learning rate merupakan salah satu parameter training untuk menghitung nilai koreksi bobot pada waktu proses training . Nilai α ini berada pada range nol 0 sampai 1. Semakin besar nilai learning rate, maka proses training akan berjalan semakin cepat. Namun apabila nilai learning rate relatif terlalu besar, pada umumnya proses training dapat melampaui keadaan optimal yaitu pada saat dicapai nilai error yang paling minimal. Dengan kata lain, learning rate mempengaruhi ketelitian jaringan suatu sistem. Semakin besar learning rate, maka ketelitian jaringan akan semakin berkurang, tetapi berlaku sebaliknya, apabila learning rate-nya semakin kecil, maka ketelitian jaringan akan semakin besar atau bertambah dengan konsekuensi proses training akan memakan waktu yang semakin lama Skapura, 1991, pp.104

2.8. Jaringan Saraf Tiruan

Perceptron Model jaringan perceptron ditemukan oleh Rosenblatt 1962 dan Minsky-Papert 1969. Perceptron merupakan salah satu bentuk jaringan sederhana, perceptron biasanya digunakan untuk mengklasifikasikan suatu pola tipe tertentu yang sering dikenal dengan pemisahan secara linear. Pada dasarnya perceptron pada jaringan saraf dengan satu lapisan memiliki bobot yang dapat diatur dan suatu nilai ambang threshold. Dapat digunakan dalam kasus untuk mengenali fungsi logika “dan” dengan masukan dan keluaran bipolar Heaton, 2008. Algoritma yang digunakan oleh aturan perceptron ini akan mengatur parameter- parameter bebasnya melalu proses pembelajaran. Fungsi aktivasinya dibuat sedemikian rupa sehingga terjadi pembatasan antara daerah positif dan negatif. Gambar 2.5 merupakan arsitektur jaringan perceptron : Universitas Sumatera Utara Gambar 2.5. Arsitektur Jaringan Perceptron Du et al, 2006 Jaringan terdiri dari beberapa unit masukan ditambah sebuah bias, dan memiliki sebuah unit keluaran. Hanya saja fungsi aktivasi bukan merupakan fungsi biner atau bipolar, tetapi memiliki kemungkinan nilai -1, 0 atau 1. Untuk suatu harga treshold θ yang ditentukan: f net = Secara geometris, fungsi aktivasi membentuk 2 garis sekaligus, masing-masing dengan persamaan : w 1 x 1 + w 2 x 2 + ... + w n x n w + b = θ, dan 1 x 1 + w 2 x 2 + ... + w n x n + b = - θ

2.8.1. Algoritma perceptron

Misalkan s adalah vektor masukan dan t adalah target keluaran α adalah laju pemahaman learning rate yang ditentukan θ adalah threshold yang ditentukan Algoritma pelatihan perceptron adalah sebagai berikut: 1 X X x y b w w w ... { 1 -1 Jika net θ Jika – θ ≤ net ≤ θ Jika net - θ 2.7 2.8 Universitas Sumatera Utara 1. Inisialisasi semua bobot dan bias umumnya w i Set learning rate : α α ≤ 1. Untuk penyederhanaan, biasanya α diberi nilai=1 = b = 0 2. Selama kondisi berhenti bernilai false, lakukan langkah-langkah berikut: a. Set aktivasi unit masukan x i = s i b. Hitung respon unit keluaran : y_in = i = 1, ..., n ∑ + i i i b w x y=f net = c. Perbaiki bobot dan bias jika terjadi error: Jika y ≠ t maka : w i baru = w i lama +α t x b baru = b lama + α t i Jika tidak maka : w i baru = w i b baru = b lama lama 3. Tes kondisi berhenti : jika terjadi perubahan bobot pada i maka kondisi berhenti TRUE, namun jika masih terjadi perubahan maka kondisi berhenti FALSE.

2.8.2. Delta Rule

Widrow dan Hoff 1960 mengembangkan perceptron dengan memperkenalkan aturan pelatihan jaringan, yang dikenal sebagai aturan delta atau sering disebut kuadrat rata-rata terkecil. Aturan ini akan mengubah bobot perceptron apabila keluaran yang dihasilkan tidak sesuai dengan target yang diinginkan. Pada delta rule akan mengubah bobot yang menghubungkan antara jaringan input ke unit input y_in dengan nilai target t. Hal ini dilakukan untuk meminimalkan error { 1 -1 Jika y_in θ Jika – θ ≤ y_in ≤ θ Jika y_in - θ Universitas Sumatera Utara selama pelatihan pola. Delta rule untuk memperbaiki bobot ke-i untuk setiap pola adalah : ∆w i =αt-y_in x dengan : i x = vektor input y_in = input jaringan ke unit output Y y_in = ∑ = n i i i w x 1 t = target output Nilai w baru diperoleh dari nilai w lama ditambah dengan ∆w, w i = w i + ∆w i

2.9. Jaringan Saraf Tiruan

Backpropagation Jaringan Saraf Tiruan Propagasi Balik Backpropagation merupakan jaringan saraf tiruan yang populer digunakan untuk memecahkan masalah. Model Propagasi Balik pertama kali ditemukan oleh Paul Werbos pada tahun 1974, kemudian dikembangkan secara terpisah oleh Rumelhart, yang memungkinkan jaringan diproses melalui beberapa layer. Sejak dikembangkan oleh Rumelhart, model Propagasi Balik sangat diminati untuk digunakan sebagai algoritma pembelajaran pada JST multilayer. Hal ini disebabkan karena model Propagasi Balik dapat menangulangi kelemahan pada JST single layer dalam pengenalan pola. Kelemahan ini dapat ditanggulangi dengan menambahkan satu atau beberapa lapisan tersembunyi hidden layer diantara lapisan masukan dan keluaran. Gambar 2.6 merupakan arsitektur model backpropagation yang memiliki beberapa unit yang ada dalam satu atau lebih lapisan tersembunyi. 2.9 2.10 2.11 Universitas Sumatera Utara Gambar 2.6. Arsitektur Model Backpropagation Du et al, 2006 JST propagasi balik adalah JST dengan topologi multilayer dengan satu layer masukan lapis X, satu atau lebih lapis hidden atau tersembunyi lapis Z dan satu layer keluaran lapis Y. Setiap lapis memiliki neuron-neuron unit-unit yang dimodelkan dengan lingkaran Gambar 2.6. Di antara neuron pada satu layer dengan neuron pada layer berikutnya dihubungkan dengan model koneksi yang memiliki bobot-bobot weights, w dan v. Lapis tersembunyi dapat memiliki bias Pelatihan dengan backpropagation sama halnya seperti pelatihan pada jaringan saraf yang lain. Pada jaringan feedfoward umpan maju, pelatihan dilakukan dalam rangka perhitungan bobot sehingga pada akhir pelatihan akan diperoleh bobot-bobot yang baik. Selama proses pelatihan, bobot-bobot diatur secara iteratif untuk meminimumkan error kesalahan yang terjadi. Kesalahan dihitung berdasarkan rata-rata kuadrat kesalahan MSE. Rata-rata kuadrat kesalahan juga dijadikan dasar perhitungan unjuk kerja fungsi aktivasi. , yang memiliki bobot sama dengan satu Dhaneswara et al, 2004. Ada 3 fase Pelatihan backpropagation antara lain : 1. Fase 1, yaitu propagasi maju. Dalam propagasi maju, setiap sinyal masukan dipropagasi dihitung maju ke layer tersembunyi hingga layer keluaran dengan menggunakan fungsi aktivasi yang ditentukan. Universitas Sumatera Utara 2. Fase 2, yaitu propagasi mundur. Kesalahan selisih antara keluaran jaringan dengan target yang diinginkan yang terjadi dipropagasi mundur mulai dari garis yang berhubungan langsung dengan unit-unit di layar keluaran. 3. Fase 3, yaitu perubahan bobot. Pada fase ini dilakukan modifikasi bobot untuk menurunkan kesalahan yang terjadi. Ketiga fase tersebut diulang-ulang terus hingga kondisi penghentian dipenuhi.

2.9.1. Algoritma backpropagation:

o Inisialisasi bobot ambil bobot awal dengan nilai random yang cukup kecil. o Kerjakan langkah-langkah berikut selama kondisi bernilai FALSE : 1. Untuk tiap-tiap pasangan elemen yang akan dilakukan pembelajaran, kerjakan: Feedforward: a. Tiap-tiap unit input X i , i=1,2,3,...,n menerima sinyal x i b. Tiap-tiap unit tersembunyi Z dan meneruskan sinyal tersebut ke semua unit pada lapisan yang ada diatasnya lapisan tersembunyi. i z_in , j=1,2,3,...,p menjumlahkan sinyal- sinyal input terbobot : j = v 0 j ∑ = n i ij i v x 1 + gunakan fungsi aktivasi untuk menghitung sinyal output-nya : z j = fz_in j dan kirimkan sinyal tersebut ke semua unit di layer atasnya unit-unit output c. Tiap-tiap unit output Y k y_in , k=1,2,3,...,m menjumlahkan sinyal-sinyal input terbobot. k = w 0 k ∑ = p i jk i w z 1 + Universitas Sumatera Utara gunakan fungsi aktivasi untuk menghitung sinyal outputnya : y k = fy_in k dan kirimkan sinyal tersebut ke semua unit di lapisan atasnya unit-unit output. Backpropagation: d. Tiap-tiap unit output Y k δ , k=1,2,3,...,m menerima target pola yang berhubungan dengan pola input pembelajaran, hitung informasi error- nya: k = t k -y k f’y_in k kemudian hitung koreksi bobot yang nantinya akan digunakan untuk memperbaiki nilai w jk ∆w : jk =α δ k z j hitung juga koreksi bias yang nantinya akan digunakan untuk memperbaiki nilai w 0k ∆w : 0k =α δ k kirimkan ini ke unit-unit yang ada layer bawahnya. e. Tiap-tiap unit tersembunyi Z j δ_in , j=1,2,3,...,p menjumlahkan delta input- nya dari unit-unit yang berada pada lapisan di atasnya: j ∑ = m k jk k w 1 δ = kalikan nilai ini dengan turunan dari fungsi aktivasinya untuk menghitung informasi error : δ j = δ_ in j f’z_in j kemudian hitung koreksi bias yang nantinya akan digunakan untuk memperbaiki nilai v ij ∆v : jk =α δ j x hitung juga koreksi bias yang nantinya akan digunakan untuk memperbaiki nilai v i 0j : Universitas Sumatera Utara ∆v 0j =α δ f. Tiap-tiap unit output Y j k w , k=1,2,3,...,m memperbaiki bias dan bobotnya j=0,1,2,...,p: jk baru=w jk lama+ ∆w tiap-tiap unit tersembunyi Z jk j v , j=1,2,3,...,p memperbaiki bias dan bobtnya i=0,1,2,...,n: ij baru= v ij lama+ ∆ v ij 2. Tes kondisi berhenti.

2.10. Digital Image Processing

Gonzales 2002 mendefenisikan image processing adalah suatu metode yang digunakan untuk mengolah atau memanipulasi gambar dalam bentuk 2 dimensi. Image Processing dapat juga dikatakan segala operasi untuk memperbaiki, menganalisa, atau mengubah suatu gambar. Konsep dasar pemrosesan gambar digital menggunakan image processing diambil dari kemampuan indera manusia yang selanjutnya dihubungkan dengan kemampuan otak manusia untuk melakukan proses atau pengolahan terhadap gambar digital tersebut. Pada umumnya objektivitas dari image processing adalah melakukan transformasi atau analisa suatu gambar sehingga informasi baru tentang gambar dibuat lebih jelas.

2.10.1. Grayscaling

Grayscaling adalah proses perubahan nilai pixel dari warna RGB menjadi gray- level Gonzalez, 2002. Pada dasarnya proses ini dilakukan dengan meratakan nilai pixel dari 3 nilai RGB menjadi 1 nilai. Untuk memperoleh hasil yang lebih baik, nilai pixel tidak langsung dibagi menjadi 3 melainkan terdapat persentasi dari masing-masing nilai tersebut. Untuk mengubah gambar RGB menjadi grayscale yaitu dengan menggunakan rumus Wu2007 : Universitas Sumatera Utara Gray= 0.2989 R + 0.5870 G + 0.1140 B Keterangan: R = merahred G = hijauG B = biruB

2.10.2. Thresholding

Wu, 2007, Gambar hitam putih relatif lebih mudah dianalisa dibandingkan dengan gambar berwarna Karena itu sebelum dianalisa, gambar dikonversikan terlebih dahulu menjadi binary image. Proses konversi ini disebut thresholding. Dalam proses thresholding, warna yang ada dikelompokkan menjadi 0 hitam dan 1 putih. Pengelompokannya berdasarkan pada suatu konstanta ambang batas level. Jika nilai pixel lebih besar sama dengan level, maka nilai output-nya adalah 1, dan sebaliknya, jika nilai pixel lebih kecil dari level, maka nilai output- nya 0. Jika fn,m adalah pixel pada gambar awal, dan gn,m adalah picel gambar yang sudah melalui proses thresholding, maka: gn,m = 0 jika fn,m level gn,m = 1 jika fn,m ≥ level

2.10.3. Boundary Enhancement

Wu, 2007, Boundary dari sebuah region adalah kumpulan dari semua pixel yang terdapat pada region tersebut yang memiliki paling sedikit satu tetangga pixel yang tidak terdapat di dalam region tersebut. Boundary Enhancement digunakan untuk menentukan margin dari daun. Pada bagian ini, untuk menentukan margin suatu objek menggunakan Laplacian Filter dengan 3x3 spatial mask, seperti Gambar 2.7: 2.12 Universitas Sumatera Utara Gambar 2.7. Boundary Enhancement Wu, 2007 Laplacian adalah sebuah ukuran isotropic 2-D dari turunan spatial kedua dari sebuah image. Laplacian Filter menyoroti area gambar dengan mengubah intensitas secara cepat dan biasanya digunakan untuk mendeteksi garis.

2.11. Riset-riset terkait

Terdapat beberapa riset yang telah dilakukan oleh banyak peneliti berkaitan dengan metode backpropagation dan simple perceptron seperti yang akan dijelaskan di bawah ini. Sholahuddin 2002, dalam risetnya menjelaskan bahwa neural network dengan menggunakan metode backpropagation telah diaplikasikan dengan sukses untuk pengenalan pola huruf abjad. Untuk mencobanya dibuat software yang di- training untuk mengenali pola huruf setelah itu dicoba untuk mengenali huruf yang dimasukkan, ternyata software tersebut mengenalinya bahkan dicoba huruf- huruf tersebut diberi noise, tapi dalam batas-batas tertentu tetap masih mengenali huruf-huruf tersebut. Dari metode tersebut bisa dikembangkan lebih jauh lagi, misalnya pengenalan pola wajah, pengenalan pola tanda tangan dan lain-lain. Wahab 2004, dalam risetnya menjelaskan bahwa aplikasi jaringan saraf tiruan berupa perceptron dengan algoritma supervised learning, yaitu metode backpropagation dan dikenal sebagai backpropagation multi layer perceptron atau BMLP. Jaringan BMLP ini menggunakan fungsi integrasi linier dan fungsi aktivasi sigmoid unipolar dengan λ=1. Jaringan BMLP ini akan digunakan untuk mengidentifikasi persamaan dinamika sistem. Pada kasus pertama, digunakan dinamika sistem berupa persamaan matematika non-linier sederhana, yang memiliki karakteristik dinamika sistem satu masukan dan satu keluaran. Jaringan Laplacian Filter Universitas Sumatera Utara BMLP yang digunakan terdiri dari dua lapis, lapis tersembunyi pertama dengan 8 simpul dan lapis kedua merupakan layer keluaran. Proses belajar jaringan akan menggunakan aturan belajar backpropagation den gan konstanta belajar η=1. Identifikasi menggunakan sejumlah data yang diperoleh dari pasangan masukan- keluaran sistem yang akan dibangkitkan dari sistem tersebut sehingga hasil identifikasi dapat dibandingkan langsung. Pada kasus kedua, jaringan BMLP digunakan untuk mengidentifikasi dinamika sistem kiln semen, yang merupakan sistem nonlinier multivariabel. BMLP terdiri dari 8 masukan dan 20 neuron pada layer tersembunyi pertama, 10 neuron pada layer tersembunyi kedua dan 5 keluaran, digunakan untuk mengidentifikasi dinamika sistem kiln semen berdasarkan data masukan dan keluaran sistem yang diperoleh langsung dari akuisisi data di suatu pabrik semen di dalam negeri. Hasil riset menunjukkan ketelitian identifikasi tergantung kepada jumlah epoch yang digunakan dalam melatih JST tersebut. Yulianto 2010, dalam risetnya menjelaskan bahwa di dunia teknologi, media layar sentuh atau smartboard sebagai langkah kemajuan dibidang media pembelajaran. Sedang dari layar sentuh atau smartboard yang dijadikan dalam penelitian ini adalah bagaimana layar sentuh atau smartboard tersebut bisa mengidentifikasi bentuk rancang bangun gambar 2D menjadi output sesuai dengan target yang diinginkan. Neural Network adalah salah satu cabang dari Artificial Intelligent. Salah satu metode dalam Neural Network adalah Backpropagation. Aplikasi Neural Network diantaranya : untuk prediksi, pengenalan pola, identifikasi dan simulasi. Proses identifikasi rancang bangun memerlukan image processing agar dapat digunakan sebagai masukan pada Neural Network. Dalam paper ini, Neural Network dengan menggunakan metode Backpropagation bisa menyelesaikan aplikasi untuk identifikasi pengenalan bentuk bangun datar dua dimensi secara manual menjadi bentuk yang bisa di animasikan. Hasil Pengujian prosentase tingkat error : bujur sangkar 1, persegi panjang 3,lingkaran 2, Segi tiga 3, Jajaran genjang 1 dan Trapesium 4. Sedangkan rata-rata prosentase error hasil identifikasi pengenalan untuk setiap jenis obyek gambar bentuk 2D adalah 3.5 baik. Universitas Sumatera Utara BAB 3 METODOLOGI PENELITIAN

3.1 Analisis Sistem metode perceptron dan backpropagation