Algoritma Restricted Boltzmann Machines (RBM) untuk Pengenalan Tulisan Tangan Angka

  Algoritma Restricted Boltzmann Machines (RBM) untuk Pengenalan Tulisan Tangan Angka Susilawati

  Universitas Medan Area susi.shilawati@gmail.com

  

Abstrak

Pengenalan tulisan tangan angka telah dimanfaatkan secara luas untuk aplikasi yang memerlukan

pemrosesan data tulisan tangan dengan jumlah yang besar seperti pengenalan alamat dan kode pos, interpretasi jumlah uang pada cek, analisis dokumen dan verifikasi tandatangan. Kasus pengenalan angka dalam jumlah besar membutuhkan pengenalan karakter dengan akurasi dan kecepatan tinggi. Banyak algoritma neural network yang dapat diimplementasikan untuk menyelesaikan permasalahan pengelanan pola seperti Restricted boltzmann machines (RBM). RBM merupakan algoritma pembelajaran jaringan syaraf tanpa pengawasan (unsupervised learning) yang hanya terdiri dari dua lapisan yang visible layer dan hidden layer. Penelitian ini membahas tentang pengenalan tulisan tangan angka dengan menggunakan algoritma RBM, dengan menggunakan dataset bencmark MNIST untuk pembelajaran dan pengujian. Terlihat bahwa tingkat keberhasilan untuk pengenalan tulisan tangan angka ditentukan oleh nilai Mean Square Error (MSE) yang kecil.

  Keywords — Pengenalan pola, Tulisan Tangan Angka, Algoritma Restricted Boltzmann Machines (RBM).

  di bidang pengenalan pola karena penerapannya di

I. LATAR BELAKANG berbagai bidang. Konversi karakter tulisan tangan

  

Artificial Neural Network (ANN) telah banyak angka sangat penting untuk membuat beberapa

  dimanfaatkan sebagai solusi terhadap berbagai dokumen penting yang berkaitan dengan aktifitas macam permasalahan yang sifatnya tidak tetap, manusia, ke dalam bentuk yang dapat yang sulit dipecahkan dengan menggunakan dimanipulasi mesin sehingga dapat dengan mudah teknik pemrograman konvensional, diantaranya digunakan dan disimpan (Sampath Amritha, et all, kasus pengenalan pola. Pengenalan pola tulisan 2012). tangan angka merupakan topik yang menarik dari Penelitian ini fokus pada pengenalan angka pengenalan pola dan kecerdasan buatan (Liu tulisan tangan (Handwritten Digit Recognition). Cheng-Lin,et all, 2004; Supriya Deshmukh, et all, Pengenalan angka tulisan tangan telah 2009). Hal ini disebabkan oleh pengenalan tulisan dimanfaatkan secara luas untuk aplikasi yang tangan angka telah mendapatkan banyak perhatian memerlukan pemrosesan data tulisan tangan dengan jumlah yang besar seperti, pengenalan alamat dan kode pos, interpretasi jumlah uang pada cek, analisis dokumen dan verifikasi tandatangan. Kasus pengenalan angka dalam jumlah besar yang membutuhkan pengenalan karakter dengan akurasi dan kecepatan tinggi, terakhir ditemukan pada kasus formulir C1 Komisi Pemilihan Umum (KPU) pada Pemilihan Umum di Indonesia.

  Sebagai ujicoba database yang digunakan untuk penelitian ini adalah dataset MNIST. Dataset ini berisi referensi data tulisan tangan angka, yang terdiri dari 60000 data gambar untuk pelatihan dan 10000 data gambar untuk pengujian. Dataset ini dapat diimplementasikan untuk pengenalan angka tulisan tangan dengan menggunakan berbagai metode. B. El Kessab, et al, 2013, melakukan penelitian pengenalan angka tulisan tangan menggunakan jaringan saraf multilayer perceptron (MLP) dan metode ekstraksi ciri berdasarkan bentuk angka, Metode ini diuji pada database angka tulisan tangan MNIST dengan 60.000 gambar untuk pelatihan dan 10000 gambar untuk pengujian, dengan tingkat keberhasilan pengenalan mencapai sekitar 80% untuk identifikasi basis data MNIST.

  Penelitian ini menggunakan algoritma

  restricted boltzmann machine (RBM) neural

  network, yang merupakan metode stochastic

  neural network dengan arsitektur bersifat recurrent network

  . Penggunaan algoritma ini diharapkan dapat menghasilkan tingkat akurasi pengenalan angka tulisan tangan yang lebih baik, sekaligus mengetahui kinerja RBM untuk sistem pengenalan angka tulisan tangan.

  A. Pengenalan tulisan tangan angka Pengenalan tulisan tangan merupakan kemampuan komputer untuk menerima dan menafsirkan masukan tulisan tangan yang dimengerti dari suatu sumber seperti dokumen kertas, foto, layar sentuh dan perangkat lainnya.

  Tahapan umum yang dilakukan pada sistem pengenalan tulisan tangan terdiri dari (Cheriet et all, 2007) tahap pertama Data acquisition /pemerolehan data yaitu tahap pemerolehan data dari sensor (misal pada kamera) yang digunakan untuk menangkap objek dari dunia nyata dan selanjutnya diubah menjadi sinyal digital (sinyal yang terdiri dari sekumpulan bilangan) melalui proses digitalisasi. Terdapat dua metode utama yang digunakan untuk pengenalan tulisan (yang biasa disebut recognition system), yaitu pengenalan tulisan secara offline dan online. Pada sistem pengenalan tulisan online, inputan tulisan bersifat temporer diperoleh secara langsung dari alat input digital. Pada sistem pengenalan tulisan secara offline, input tulisan diperoleh dari teks tulisan yang di-scan terlebih dahulu atau dari kamera. Tahap kedua Data preprocessin pemrosesan awal data yaitu informasi dari citra angka, noise dan kompleksitas diminimalisasi, ukuran dan bentuk huruf dinormalisasikan agar memudahkan untuk pemrosesan berikutnya. Tahap ketiga Feature extraction yaitu pada bagian ini dilakukan untuk mendapatkan karakteristik pembeda yang mewakili sifat utama dengan memisahkannya dari fitur yang tidak diperlukan, dan mengurangi kerumitan komputasi serta memungkinkan untuk meningkatkan akurasi. Tahapan terakhir adalah pengenalan data. Tahapan ini dilakukan proses pembelajaran data dan pengujian data untuk mengetahui tingkat keberhasilan algoritma pengenalan pola yang digunakan. unit dan unit bias terhubung ke semua visible unit mewakili jumlah dari hidden neuron. V binari

  B. Restricted Boltzmann Machine (RBM)

  Restricted Boltzmann Machine (RBM)

  merupakan aturan pembelajaran dengan menggunakan metode Boltzmann Machine (Hinton et all, 2010). RBM merupakan model generatif probabilistik yang mampu secara otomatis mengekstrak fitur input data dengan menggunakan algoritma pembelajaran tanpa pengawasan (Hinton, 2002; Smolensky, 1986). RBM menggunakan arsitektur jaringan berulang (recurrent network ). Secara teknis, RBM merupakan jaringan saraf yang bersifat stochastic (jaringan saraf yang berarti memiliki unit neuron berupa aktivasi biner yang bergantung pada neuron-neuron yang saling terhubung, sedangkan

II. TINJAUAN PUSTAKA

  stochastic berarti aktivasi yang memiliki unsur

  probabilistik) yang terdiri dari dua binary unit yaitu visible layer merupakan state yang akan diobservasi dan hidden layer merupakan feature

  detectors serta unit bias. Selanjutnya masing-

  masing visible unit terhubung ke semua hidden unit yang diwakili oleh array bobot, sehingga setiap hidden unit juga terhubung ke semua visible

  i

  dan semua hidden unit. Untuk memudahkan state dari visible unit i. H adalah binari state dari

  i

  proses pembelajaran, jaringan dibatasi sehingga hidden unit j, a adalah bias dari unit visible, b

  i i

  tidak ada visible unit terhubung ke visible unit lain adalah bias dari unit hidden dan W adalah bobot

  ij dan hidden unit terhubung dengan hidden unit antara unit visible dan unit hidden.

  lainnya. Unit hidden diinisialisasi dan diperbarui Untuk melatih RBM, sampel dari training set menggunakan persamaan berikut, di mana H dari

  j

  yang digunakan sebagai masukan untuk RBM setiap unit hidden j diatur satu dengan melalui neuron visible, dan kemudian jaringan probabilitas: sampel bolak-balik antara neuron visible dan

  hidden . Tujuan dari pelatihan adalah untuk

  (2.2) ( | ) ( ∑ pembelajaran koneksi bobot pada visible atau

  hidden dan bias aktivasi neuron sehingga RBM Di mana

  ( ) adalah fungsi sigmoid belajar untuk merekonstruksi data input selama (2.3)

  ( )

  ( )

  fase di mana sampel neuron visible dari neuron hidden. Setiap proses sampling pada dasarnya Unit visible diinisialisasi dan diperbarui berupa perkalian matriks-matriks antara menggunakan persamaan berikut, di mana V dari

  i

  sekumpulan sampel pelatihan dan matriks bobot, setiap unit hidden i diatur satu dengan diikuti dengan fungsi aktivasi neuron, yaitu fungsi probabilitas: sigmoid (persamaan 2.12). Sampling antara

  T

  (2.4) ( | ) ( ∑ ( ) lapisan hidden dan visible diikuti oleh modifikasi parameter (dikontrol oleh learning rate) Dan

  C. Algoritma Restricted Boltzmann Machines diulang untuk setiap kelompok data dalam training Algoritma RBM sebagai berikut:

  set , dan untuk state sebanyak yang diperlukan

  a. Inisialisasi data untuk mencapai konvergensi.

  1. Inisialisasi bobot awal (weights) dan _{bias b h1 h2 h3 H à Layer Hidden} bias dengan nilai random yang kecil.

  2. Tetapkan maksimum Epoch, dan Learning Rate (α) _W

  3. Lakukan langkah di bawah ini selama (Epoch<MaksimumEpoch) _{bias a v1 v2 V à Layer Visible}

  4. Lakukan langkah di bawah ini selama (datasampel<maksimumdatasampel)

  b. Positive phase (mengambil data dan

  Gambar 1. Arsitektur Rectricted Boltzmann Machine Network

  sampel dari hidden unit)

  1. Hitunglah energi aktivasi, Arsitektur neural network RBM dapat dilihat probabilitas dan state dari unit pada gambar 1 Jaringan ini terdiri atas 2 (dua) unit hidden (i) dengan menggunakan neuron pada lapisan visible unit (v , v ,.., v ), 3

  1 2 n

  persamaan 2.2 (tiga) neuron pada lapisan hidden unit (h , h , h ..,

  1 2 3,

  2. Hitung positif_assosiatif h ) dan 1 (satu) neuron bias pada lapisan visible

  n

• * P(H ) (2.5)

  j

  ( ) dan 1 (satu) neuron bias pada lapisan hidden. Konfigurasi unit visible (V) dan unit hidden

  Positif assosiatif diperoleh dari (H) memiliki energi (Hopfiled, 1982) ditunjukkan perkalian matriks data sampel yang pada persamaan berikut : ditranspose dari visible neuron dengan probabilitas yang dihasilkan

  (2.1) ( ) ∑ ∑ ∑ dari langkah 5 c. Negative Phase (rekonstruksi visible unit

  Di mana i (i = 1,2,3.., n)untuk mewakili jumlah dan data sampel dari hidden unit) dari visible neuron, j (j = 1,2,3,..,n) untuk

  1. Hitung energi aktivasi dan positif dan ouput pada pase negatif. Epoch probabilitas dari unit visible (j) diperlukan sebagai batasan untuk proses dengan menggunakan persamaan 2.4 pembelajaran. Untuk tahap pembelajaran,

  2. Lakukan langkah 5 untuk update parameter yang akan diuji adalah learning rate hidden unit 0.01, 0.05, 0.09 dan momentum 0.5, 0.7, 0.9,

  3. Hitung negatif_assosiatif dengan fungsi aktivasi sigmoid tangen serta pembatasan epoch sebanyak 100 epoch.

  (2.6)

• * P(H )

  j

  ( ) Hasil pembelajaran dapat dilihat pada gambar 2

  Negatif assosiatif diperoleh dari berikut ini : perkalian matriks data (probabilitas dari unit visible yang diperoleh dari langkah 7) yang ditranspose dengan probabilitas dari unit hidden yang dihasilkan dari langkah 8 d. Update parameter

  2. Update bobot W = (2.7)

  ij

• W

  ij

  Δw jk

  ΔW ij = ε (2.8) (Pos_Asso Gambar 2. Pembelajaran I dengan (ε) =0.01, (m)=0.5, 0.7, 0.9

• – Neg_Asso)

  Di mana ε adalah learning rate

  3. Hitung error Error = (2.9)

  ∑ (

  2

  ) Error dihitung dengan pengurangan O merupakan data sampel dan t

  i i

  merupakan visibel probabiltas yang dihasilkan dari pase negatif pada langkah 7

  Gambar 3. Pembelajaran II dengan (ε) =0.05, (m)=0.5, 0.7,

  0.9 III.H ASIL DAN PEMBAHASAN

  a. Hasil Proses pembelajaran RBM merupakan pembelajaran tanpa pengawasan (unsupervised

  learning ), artinya tidak ada target data saat proses

  pembelajaran dilakukan. Hasil pembelajaran akan berkelompok sesuai klasifikasi masing-masing data. Output aktual yang dihasilkan pada awal proses akan digunakan sebagai input pada proses berikutnya. Kesalahan (error) pada output jaringan

  Gambar 4. Pembelajaran II dengan

  diperoleh dari selisih antara output pada pase

  (ε) =0.09, (m)=0.5, 0.7,

  0.9 Hasil MSE dapat disimpulkan seperti pada tabel 1

  Learning Rate Momentum Persentasi

  berikut ini :

  (m) (%) (ε)

  0.01

  0.9

  91.92 Tabel 1. Hasil MSE dari tahapan pembelajaran

  0.5

  91.31

  0.05

  0.7

  93.42 Pada gambar 4 dan tabel 2 terlihat bahwa

  parameter learning rate 0.01 dengan momentum 0.9 berwarna biru memperoleh tingkat pengenalan sebesar 91.92%, sedangkan learning rate 0.05 dengan momentum 0.5 berwarna hitam memperoleh tingkat penganalan 91.31% serta learning rate 0.05 dengan momentum 0.7 memiliki kinerja yang paling tinggi, mampu mengenali

  Nilai MSE menaik seiring menaiknya jumlah dataset pengujian sebesar 93.42%. epoch. Nilai MSE yang cenderung menurun hingga akhir epoch akan menghasilkan visualisasi

  IV. PEMBAHASAN

  klasifikasi tulisan tangan yang jelas. Hasil visualisasi klasifikasi angka tulisan tangan ini A. Data Yang Digunakan dapat dilihat lebih jelas pada bagian pembahasan

  Penelitian ini meggunakan dataset MNIST dari di bab ini. UCI Machine learning repository

  Parameter learning rate dan momentum yang . Dataset MNIST menghasilkan nilai MSE yang terkecil adalah dibangun oleh Institute National Standard learning 0.01 dengan momentum 0.9 dan learning Technologi (NIST). Dataset ini berisi tulisan

  0.05 dengan momentum 0.5, 0.7. Visualisasi tangan berupa angka dari 0 sampai 9 dalam bentuk klasifikasi dataset dari pilihan nilai-nilai parameter file gambar. Data pelatihan NIST awalnya tersebut menunjukkan hasil yang baik dan jelas. disusun dari kumpulan angka yang ditulis oleh

  Nilai-nilai dari parameter ini akan digunakan pekerja sensus di Amerika Serikat, sedangkan data untuk proses pengujian terhadap data pengujian pengujiannya diperoleh dengan mengumpulkan MNIST untuk mengetahui tingkat persentase data tulisan tangan siswa Sekolah Menengah Atas pengenalan data pengujian MNIST. di Amerika Serikat. Perbedaan asal tulisan ini

  Hasil pengujian bobot akhir dan persentase berakibat pada sulitnya mengklasifikasi tulisan pengenalan data MNIST dapat dilihat pada gambar yang digunakan untuk pengujian. Disebabkan 5 dan table 2 berikut ini. alasan tersebut, dibentuklah organisasi yang bertugas mengabungkan kedua data tersebut menjadi satu kesatuan yang disebut dengan Modified Institute National Standar and Technology yang disingkat dengan MNIST (Le Cun et al., 1998).

  Dataset MNIST terdiri dari gambar tulisan tangan angka 0 sampai 9 dan dibagi dalam 60.000 contoh data pembelajaran dan 10.000 data untuk pengujian. Semua ukuran gambar angka telah ternormalisasi dan berpusat pada ukuran gambar yang tetap yakni 28 x 28 piksel. Dalam dataset MNIST setiap pixel gambar diwakili oleh nilai antara 0 dan 255, di mana 0 adalah hitam, 255

  Gambar 5. Grafik persentase pengenalan dataset

  adalah putih, serta warna abu-abu hasil proses anti-aliasing saat penggabungan dataset. Berikut

  Tabel 2. Persentasi pengenalan dataset pengujian

  adalah tabel distribusi data pelatihan dan pengujian dataset MNIST.

  Magic number Gambar = 60000 Baris = 28 Kolom = 28 Tabel 3. Distribusi Dataset MNIST _{28 28} Gambar 3 berikut merupakan visualisasi _{FORMAT FILE IMAGE MNIST - PEMBELAJARAN} dataset MNIST sebanyak 600 sample data dari _{Magic number Label = 60000} 60000 data tulisan tangan untuk pembelajaran.

Gambar 3.6 merupakan visualisasi 600 sample data dari 10000 data tulisan tangan untuk

  pengujian. Dimana, data tersebut terdiri dari angka _{FORMAT FILE LABEL MNIST - PEMBELAJARAN} 0 sampai 9 dengan karakteristik yang berbeda- beda, ada data yang tampak lebih tebal dan ada

  Gambar 8. Format file image dan file label Dataset MNIST

  yang tampak lebih tipis selain itu ada pula data Setiap pixel gambar diwakili oleh nilai yang tampak dengan jelas dan ada yang tampak antara 0 sampai 255, di mana 0 adalah hitam, 255 tidak jelas. adalah putih, serta warna keabuan dari piksel.

  Ukuran gambar terpusat pada 28 x 28 piksel. Dimana pembacaan piksel gambar dilakukan secara perbaris. Data pada masing-masing piksel selanjutnya dibagi dengan angka 255 untuk memperoleh bilangan real antara 0 sampai 1. Data real ini selanjutnya dijadikan data masukan pada pembelajaran RBM yang diwakilkan pada lapisan terlihat (visible layer), kemudian digunakan untuk menginisialisasi nilai pada node yang ada pada lapisan tersembunyi (hidden layer). Adapun

  Gambar 6. Sample Data Pembelajaran 600 dari 60000 Tulisan

  tahapan pembacaan data tersebut dapat dilihat

  Tangan pada gambar 3.8 berikut. _{... 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0. 170., 253., 253., 253., 253., 253., 225., 172., 253., 242., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,30.,36.,94., 154., 3., 18., 18., 18., 126., 136., 175.,26., 166., 255., 247., 127., ...} 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., Gambar 7. Sample Data Pengujian 600 dari 60000 Tulisan

  Tangan _{Real 0. s.d 1. Konversi ke}

  Dan gambar 6 berikut merupakan bentuk _{0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,} format file image dan file label dari dataset _{0.53333333, 0.68627451, 0.10196078, 0.01176471, 0.07058824, 0.07058824, 0.07058824, 0.49411765, ...} MNIST. File image terdapat magic number yang 0.65098039, 1., 0.96862745, 0.49803922, 0., 0., 0., 0., 0., 0., _{0.60392157, 0.66666667, 0.99215686, 0.99215686, 0.99215686, 0., 0., 0., 0., 0., 0., 0.11764706, 0.14117647, 0.36862745,} digunakan untuk pengenal dari masing-masing 0.99215686, 0.99215686, 0.88235294, 0.6745098 , 0.99215686, _{0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0. ... 0.94901961,} file, gambar yang berisi 60000 gambar tulisan tangan angka dimana, gambar tersebut terpusat _{v0 v1 v2 ... v781 v782 v783} pada 28 kolom dan 28 baris pixel gambar serta pixel gambar yang dibaca perbaris. File label _{h0 h1 h9 ...} terdapat magic number dan label sebanyak 60000 _RBM serta label dari masing-masing data.

  Gambar 9. Langkah-langkah pembacaan data

  Tabel 3. Nilai MSE Learning Rate 0.01,

  B. Pembelajaran

  Momentum 0.5, 0.7, 0.9

  Proses pembelajaran dilakukan dengan menggunakan algoritma jaringan RBM tanpa menyertakan file label sebagai target. Untuk tahap pembelajaran, parameter yang akan diuji adalah

  learning rate 0.01, 0.05, 0.09 dan momentum 0.5,

  0.7, 0.9, dengan fungsi aktivasi sigmoid dan pembatasan epoch sebanyak 100 epoch. Pembelajaran dilakukan dengan membangun jaringan RBM yang terdiri dari 784 neuron visible

  layer dan 10 neuron pada hidden layer. Jumlah

  neuron pada visible layer sebesar 784 neuron dihitung berdasarkan resolusi masing-masing angka dataset yakni 28x28, dan 10 neuron pada

  Dari tabel 3 terlihat bahwa untuk learning rate

  hidden layer berdasarkan jumlah klasifikasi angka

  0.01 dengan momentum 0.5 nilai MSE terkecil 0 sampai 9. diperoleh pada epoch ke-72 sebesar 0.0493. Diikuti dengan momentum 0.7 pada epoch ke-95 sebesar 0.0494 dan momentum 0.9 pada epoch ke- 26 sebesar 0.0499.

  h0 h1 h9 Hidden layer

  2. Pembelajaran Tahap II Pada pembelajaran tahap kedua hasil nilai

  MSE yang diperoleh untuk nilai Learning Rate 0.05, momentum 0.5, 0.7, 0.9 dapat dilihat pada

  Visible layer v tabel 3.3 berikut ini. v0 v1 v2

  783 Tabel 4. Nilai MSE Learning Rate 0.05,

  Momentum 0.5, 0.7, 0.9 Dataset Pelatihan MNIST

  Gambar 10. Arsitektur Jaringan RBM

  1. Pembelajaran Tahap I Pada pembelajaran tahap pertama hasil nilai

  MSE yang diperoleh untuk nilai Learning Rate 0.01, momentum 0.5, 0.7, 0.9 dapat dilihat pada

  Dari tabel 4 terlihat bahwa learning rate 0.05 tabel 3 berikut ini. dengan momentum 0.5 nilai MSE terkecil diperoleh pada epoch ke-12 sebesar 0.0491, sedangkan momentum 0.7 pada epoch ke-88 sebesar 0.0488 dan momentum 0.9 pada epoch ke- 5 sebesar0.0495.

  3. Pembelajaran Tahap III

  Perhitungan Dataset Label Pengujian Pengujian MNIST

  Pada pembelajaran tahap ketiga hasil nilai MSE yang diperoleh untuk nilai Learning Rate

  h0 h1 h9 Hidden layer

  0.09, momentum 0.5, 0.7, 0.9 dapat dilihat pada tabel 5 berikut ini.

  Tabel 5. Nilai MSE Learning Rate 0.05, Visible layer

  Momentum 0.5, 0.7, 0.9 v v0 v1 v2

  783 Dataset Pengujian MNIST

  Gambar 11. Arsitektur Pengujian Dataset MNIST

  Pengujian dilakukan dengan cara mengisi langsung semua variabel-variabel bobot pada jaringan RBM dengan nilai bobot terakhir dari

  Dari tabel 5 terlihat bahwa learning rate proses pembelajaran yang telah disimpan 0.09 dengan momentum 0.5 nilai MSE terkecil sebelumnya. Pengambilan nilai-nilai bobot akhir diperoleh pada epoch ke-8 sebesar 0.0485, dari file ini sangat menghemat waktu sedangkan momentum 0.7 pada epoch ke-3 pembelajaran sehingga tidak diperlukan sebesar 0.0492 dan momentum 0.9 pada epoch ke- pembelajaran ulang jaringan. 47 sebesar 0.0512.

  Pengujian dimulai dengan membaca file-file bobot setiap epoch untuk learning rate 0.01

V. PENGUJIAN

  dengan momentum

  0.9. Hasil perhitungan Pengujian dilakukan dengan membangun pengenalan angka tulisan tangan setiap epoch jaringan RBM yang terdiri dari 784 neuron visible disimpan untuk keperluan analisa selanjutnya. dan 10 neuron pada hidden layer, dengan

  layer

  Pengujian yang sama dilanjutkan untuk learning arsitektur seperti terlihat pada gambar 3.9 Proses

  rate 0.05 dengan momentum 0.5 dan 0.7. Hasil

  pengujian dilakukan dengan cara memasukkan lengkap pengujian dapat dilihat pada tabel 6 dan 7. nilai-nilai bobot akhir yang akan diuji ke dalam

  Isi tabel berupa jumlah data angka tulisan tangan jaringan RBM, dilanjutkan dengan memberi yang cocok dibandingkan dengan label dataset masukan dataset pengujian sebanyak 10000 data pada data pengujian. angka tulisan tangan. Pada proses pengujian, jaringan RBM hanya memproses dari visible layer

  Tabel 6. Nilai MSE Learning Rate 0.01,

  ke hidden layer (phase positif) saja. Hasil Momentum 0.9 perhitungan pada hidden layer selanjutnya dihitung dan diklasifikasikan berdasarkan data label MNIST untuk memperoleh score pengenalan angka tulisan tangan.

  Tabel 7. Nilai MSE Learning Rate 0.05, Momentum 0.5, 0.7

  [10] Smolensky. P (1986). Information processing in dynamical systems: Foundations of harmony theory, Parallel Distributed Processing , vol. 1, pp. 194 –28.

VI. K ESIMPULAN

  tulisan tangan angka MNIST. Dari hasil pembahasan terlihat bahwa learning rate 0.05 dengan momentum 0.7 memiliki kinerja yang paling tinggi, mampu mengenali dataset pengujian sebesar 93.42%.

  DAFTAR PUSTAKA [1] Amritha, Sampath., Tripti, C. & Govindaru, V. 2012.

  Freeman code based online handwritten character recognition for Malayalam using Back propagation neural networks. Advance computing: An international journal3 (4): pp. 51-58

  [2] C.-L. Liu, K. Nakashima, H. Sako, H. Fujisawa. 2004.

  Handwritten digit recognition: investigation of normalization and feature extraction techniques, Pattern Recognition , 37(2): 265-279

  Penentuan nilai parameter learning rate, momentum dan fungsi aktivasi pada jaringan RBM sangat berpengaruh pada kinerja RBM, khususnya dalam menentukan nilai mean square

  [4] Hinton, Geoffrey. 2010. A Practical Guide to Training Restricted Boltzmann Machines. University of Toronto. [5] Hinton. E. G, Osindero. S, dan Teh. W. Y (2006). A fast learning algorithm for deep belief nets. Neural

  Computation , 18(7):1527 –1554.

  [6] Hinton. E. G (2002). Training products of experts by minimizing contrastive divergence, Neural Computation , vol. 14, pp. 1771 –1800.

  [7] LeCun, Yann. & Corinna Cortes. 2010. The MNIST Database of Handwritten Digits. Web.

  <http://yann.lecun.com/exdb/mnist/>. [8] Salakhutdinov. R, dan Hinton. E. G (2008). Using deep belief nets to learn covariance kernels for Gaussian processes, Advances in Neural Information Processing Systems 20 (NIPS’07): pp. 1249–1256.

  [9] Sharma, Om Prakash., Ghose M. K. & Shah, Krishna Bikram. 2012. An Improved Zone Based Hybrid Feature Extraction Model for Handwritten Alphabets Recognition Using Euler Number. International Journal of Soft Computing and Engineering 2 (2) : 504-58

  error (MSE) dan persentase pengenalan dataset

  [3] Deshmukh, Supriya. & Ragha, Leena. 2009. Analysis of Directional Features - Stroke and Contour for Handwritten Character Recognition. IEEE International Advance Computing Conference: pp.1114-1118