S KOM 1201729 Chapter3
BAB III
METODOLOGI
Pada bab ini akan dijelaskan secara lebih menyeluruh mengenai metodologi penelitian
yang diusulkan dalam pembuatan sistem penerjemah bahasa isyarat sehingga didapat sistem
yang handal.
3.1 Alat Penelitian
Alat yang akan digunakan pada penelitian ini adalah seperangkat komputer
dilengkapidengan beberapa perangkat lunak pendukung, sedangkan bahan yang digunakan
adalah data rekaman video dengan kinect.
Dalam penelitian ini digunakan perangkat keras komputer dengan spesifikasi sebagai
berikut:
1. RAM 8 GB.
2. Hardisk 1TB.
3. Monitor 14” dengan resolusi 1366x768 Pixel.
4. Mouse dan Keyboard
5. Kinect XBOX 360.
Perangkat keras yang digunakan memiliki spesifikasi yang cukup tinggi, hal tersebut
dibutuhkan untuk menyelesaikan perhitungan dan perulangan yang kompleks. Adapun
perangkat lunak yang digunakan adalah:
1. Microsoft Windows 7.
2. Matlab version 2013.
3. Library OpenNI
4. Primesense
1.2 Data Penelitian
3.2.1 Data Masukan
Data yang digunakan pada penelitian ini adalah data video manusia yang sedang
menggunakan bahasa isyarat khususnya isyarat huruf. Data video manusiadirekam
menggunakan
Kinect
dengan
memanfaatkan
video
kedalaman
dan
RGB
15
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL
NETWORK (CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
serta
16
menggunakan software OpenNI untuk menyimpan data tersebut. Hasil format data yang
dihasilkan adalah .oni.
Bahasa isyarat yang digunakan adalah 24 abjad huruf kecuali J dan Z. 24 abjad huruf
mengacu pada Sistem Isyarat Bahasa Indonesi (SIBI). Data video isyarat diubah menjadi data
citra. Gambar 3.1 menunjukan hasil isyarat yang direkam dengan menggunakan Kinect.
Gambar 3. 1 Contoh data yang diambil dengan Kinect
3.2.2
Data Keluaran
Data Output penelitian ini adalah kelas data semua abjad kecuali J dan Z. Kelas data
didapat dari perhitungan menggunakan metode CNN.
3.3 Rancangan Penelitian
Tahap-tahap dan alur rancangan penelitian ini meliputi studi literatur, pengumpulan
data, analisis dan perancangan, implementasi, uji coba, analisis dan evaluasi hasil uji coba,
penarikan kesimpulan,sebagaimana ditunjukan pada gambar 3.2.
Studi Literatur
Analisis dan
Perancangan
Analisis dan
Evaluasi Hasil
uji coba
Pengumpulan
Data
Implementasi
Penarikan
Kesimpulan
Uji coba
Gambar 3. 2Rancangan Penelitian
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
17
3.3.1 Studi Literatur
Studi literatur dilakukan dengan mencari sumber atau referensi terkait dengan
penelitian yang dilakukan. Yaitu, tentangSistem Isyarat Bahasa Indonesia, Kinect dan metode
deep learning tentang CNN (Convolutional Neural Networks). Setelah melakukan studi
literatur, maka diperoleh suatu rumusan langkah apa yang dikerjakan, serta hal baru apa yang
dihasilkan sebagaimana pada penelitian ini. Penjelasan mengenai teori-teori tersebut dapat
dilihat pada BAB II.
3.3.2 Pengumpulan Data
Data akan direkam dengan 5 model yang berbeda. Model adalah 5 mahasiswa
Universitas Pendidikan Indonesia jurusan Pendidikan Khusus atau Pendidikan Luar Biasa
bukan penyandang tuna rungu.
Terdapat 24 kelas data. Masing-masing model direkam sebanyak 10 kali per kelas
datanya. Sehingga, terdapat 1200 file video berformat .oni.
3.3.3 Analisis dan Perancangan
Langkah analisis dan perancangan adalah langkah untuk menganalisa kebutuhan
sistem secara intensif dan spesifik. Untuk memahami sifat sistem yang akan dibangun,
pembuat sistem (analis) harus memahami domain informasi untuk sistem, fungsi yang
dibutuhkan, perilaku, kinerja dan antarmuka sistem. Gambar 3.4 menunjukan rancangan alur
sistem yang dibuat.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
18
a
Data
Training
Video Segmentation
(frame by frame)
Hand Locallization
Data set
training
Pra proses
pengolahan data
Training
CNN
Pra proses
pengolahan data
Testing
Data
output
Data set
testing
Hand Locallization
Data
Testing
Video Segmentation
(frame by frame)
Gambar 3. 3Rancangan Alur Sistem
1. Video Segmentation dan Hand Locallization
Pada proses videosegmentation semua data video yang didapatkan dari Kinect di
normalisasi sesuai kebutuhan, dengan mengubah semua data video menjadi data citra. Setelah
itu dilakukan proses Hand Locallizationyang bertujuan untuk mendapatkan area lengan saja.
Proses Hand Locallizationdilakukan dengan cara cropping citra secara manual. Data setelah
dinormalisasi disebut data set.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
19
2. Pra proses pengolahan data
Pada proses pengolahan data, ukuran data citra diubah menjadi ukuran 28 x 28. Lalu
data citra di normalisasi. Normalisasi adalah proses mengubah isi matriks dari data citra
menjadi 0 sampai dengan 1.
3. Training dan Testing
Pada proses training dan testing diolah dengan menggunakan metode deep learning,
yaitu CNN. Dan output dari proses ini adalah kelas data.
Metode CNN yang digunakan menggunakan 4 layer CNN yaitu 2 proses convolution
dan 2 proses subsampling. Input citra berukuran 28x28 piksel. Menggunakan 5x5 kernel
untuk proses convolution. Proses subsampling menggunakan skala 2x2. Output map untuk
proses convolution yaitu 6 dan 12 (The MNIST Database of Handwritten, 2012). Data
training menggunakan 10000 dan 40000 epoch untuk iterasinya.
Input 28x28
5x5
convolution
24x24x6
12x12x6
2x2
subsamplin
g
8x8x72
5x5
convolutio
n
4x4x72
Output
2x2
subsampling
Gambar 3. 4 4 layer CNN
3.3.4 Implementasi
Implementasi pada sistem ini adalah dengan melakukan pengkodean atau coding.
Pengkodean merupakan penerjemahan design dalam bahasa yang dapat dikenali oleh
komputer. Tahapan ini merupakan tahapan secara nyata dalam pengerjaan suatu sistem.
Dalam artian penggunaan komputer akan dimaksimalkan pada tahap ini.
3.3.5 Uji Coba
Setelah sistem selesai dibuat maka dilakukan proses uji coba dengan menggunakan
data set testing.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
20
3.3.6 Analisis dan Evaluasi Hasil Uji Coba
Pada tahap ini akan dilakukan analisis dan evaluasi untuk mendapat hasil seberapa
handal sistem yang dibangun. Selain itu, dilakukan juga interpretasi dari hasil analisis
tersebut. Apakah layak atau tidak nya sistem ini.
3.3.7 Penarikan Kesimpulan
Pada tahap ini akan dibuat kesimpulan dari hasil analisis dan evaluasi data yang telah
diuji coba berdasarkan rumusan masalah. Dengan begitu juga dapat ditarik kesimpulan
berupa akurasi dalam bentuk persen. Kesimpulan ini menentukan kinerja sistem yang telah
dibuat. Kesimpulan dapat dilihat pada BAB V.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
METODOLOGI
Pada bab ini akan dijelaskan secara lebih menyeluruh mengenai metodologi penelitian
yang diusulkan dalam pembuatan sistem penerjemah bahasa isyarat sehingga didapat sistem
yang handal.
3.1 Alat Penelitian
Alat yang akan digunakan pada penelitian ini adalah seperangkat komputer
dilengkapidengan beberapa perangkat lunak pendukung, sedangkan bahan yang digunakan
adalah data rekaman video dengan kinect.
Dalam penelitian ini digunakan perangkat keras komputer dengan spesifikasi sebagai
berikut:
1. RAM 8 GB.
2. Hardisk 1TB.
3. Monitor 14” dengan resolusi 1366x768 Pixel.
4. Mouse dan Keyboard
5. Kinect XBOX 360.
Perangkat keras yang digunakan memiliki spesifikasi yang cukup tinggi, hal tersebut
dibutuhkan untuk menyelesaikan perhitungan dan perulangan yang kompleks. Adapun
perangkat lunak yang digunakan adalah:
1. Microsoft Windows 7.
2. Matlab version 2013.
3. Library OpenNI
4. Primesense
1.2 Data Penelitian
3.2.1 Data Masukan
Data yang digunakan pada penelitian ini adalah data video manusia yang sedang
menggunakan bahasa isyarat khususnya isyarat huruf. Data video manusiadirekam
menggunakan
Kinect
dengan
memanfaatkan
video
kedalaman
dan
RGB
15
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL
NETWORK (CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
serta
16
menggunakan software OpenNI untuk menyimpan data tersebut. Hasil format data yang
dihasilkan adalah .oni.
Bahasa isyarat yang digunakan adalah 24 abjad huruf kecuali J dan Z. 24 abjad huruf
mengacu pada Sistem Isyarat Bahasa Indonesi (SIBI). Data video isyarat diubah menjadi data
citra. Gambar 3.1 menunjukan hasil isyarat yang direkam dengan menggunakan Kinect.
Gambar 3. 1 Contoh data yang diambil dengan Kinect
3.2.2
Data Keluaran
Data Output penelitian ini adalah kelas data semua abjad kecuali J dan Z. Kelas data
didapat dari perhitungan menggunakan metode CNN.
3.3 Rancangan Penelitian
Tahap-tahap dan alur rancangan penelitian ini meliputi studi literatur, pengumpulan
data, analisis dan perancangan, implementasi, uji coba, analisis dan evaluasi hasil uji coba,
penarikan kesimpulan,sebagaimana ditunjukan pada gambar 3.2.
Studi Literatur
Analisis dan
Perancangan
Analisis dan
Evaluasi Hasil
uji coba
Pengumpulan
Data
Implementasi
Penarikan
Kesimpulan
Uji coba
Gambar 3. 2Rancangan Penelitian
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
17
3.3.1 Studi Literatur
Studi literatur dilakukan dengan mencari sumber atau referensi terkait dengan
penelitian yang dilakukan. Yaitu, tentangSistem Isyarat Bahasa Indonesia, Kinect dan metode
deep learning tentang CNN (Convolutional Neural Networks). Setelah melakukan studi
literatur, maka diperoleh suatu rumusan langkah apa yang dikerjakan, serta hal baru apa yang
dihasilkan sebagaimana pada penelitian ini. Penjelasan mengenai teori-teori tersebut dapat
dilihat pada BAB II.
3.3.2 Pengumpulan Data
Data akan direkam dengan 5 model yang berbeda. Model adalah 5 mahasiswa
Universitas Pendidikan Indonesia jurusan Pendidikan Khusus atau Pendidikan Luar Biasa
bukan penyandang tuna rungu.
Terdapat 24 kelas data. Masing-masing model direkam sebanyak 10 kali per kelas
datanya. Sehingga, terdapat 1200 file video berformat .oni.
3.3.3 Analisis dan Perancangan
Langkah analisis dan perancangan adalah langkah untuk menganalisa kebutuhan
sistem secara intensif dan spesifik. Untuk memahami sifat sistem yang akan dibangun,
pembuat sistem (analis) harus memahami domain informasi untuk sistem, fungsi yang
dibutuhkan, perilaku, kinerja dan antarmuka sistem. Gambar 3.4 menunjukan rancangan alur
sistem yang dibuat.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
18
a
Data
Training
Video Segmentation
(frame by frame)
Hand Locallization
Data set
training
Pra proses
pengolahan data
Training
CNN
Pra proses
pengolahan data
Testing
Data
output
Data set
testing
Hand Locallization
Data
Testing
Video Segmentation
(frame by frame)
Gambar 3. 3Rancangan Alur Sistem
1. Video Segmentation dan Hand Locallization
Pada proses videosegmentation semua data video yang didapatkan dari Kinect di
normalisasi sesuai kebutuhan, dengan mengubah semua data video menjadi data citra. Setelah
itu dilakukan proses Hand Locallizationyang bertujuan untuk mendapatkan area lengan saja.
Proses Hand Locallizationdilakukan dengan cara cropping citra secara manual. Data setelah
dinormalisasi disebut data set.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
19
2. Pra proses pengolahan data
Pada proses pengolahan data, ukuran data citra diubah menjadi ukuran 28 x 28. Lalu
data citra di normalisasi. Normalisasi adalah proses mengubah isi matriks dari data citra
menjadi 0 sampai dengan 1.
3. Training dan Testing
Pada proses training dan testing diolah dengan menggunakan metode deep learning,
yaitu CNN. Dan output dari proses ini adalah kelas data.
Metode CNN yang digunakan menggunakan 4 layer CNN yaitu 2 proses convolution
dan 2 proses subsampling. Input citra berukuran 28x28 piksel. Menggunakan 5x5 kernel
untuk proses convolution. Proses subsampling menggunakan skala 2x2. Output map untuk
proses convolution yaitu 6 dan 12 (The MNIST Database of Handwritten, 2012). Data
training menggunakan 10000 dan 40000 epoch untuk iterasinya.
Input 28x28
5x5
convolution
24x24x6
12x12x6
2x2
subsamplin
g
8x8x72
5x5
convolutio
n
4x4x72
Output
2x2
subsampling
Gambar 3. 4 4 layer CNN
3.3.4 Implementasi
Implementasi pada sistem ini adalah dengan melakukan pengkodean atau coding.
Pengkodean merupakan penerjemahan design dalam bahasa yang dapat dikenali oleh
komputer. Tahapan ini merupakan tahapan secara nyata dalam pengerjaan suatu sistem.
Dalam artian penggunaan komputer akan dimaksimalkan pada tahap ini.
3.3.5 Uji Coba
Setelah sistem selesai dibuat maka dilakukan proses uji coba dengan menggunakan
data set testing.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu
20
3.3.6 Analisis dan Evaluasi Hasil Uji Coba
Pada tahap ini akan dilakukan analisis dan evaluasi untuk mendapat hasil seberapa
handal sistem yang dibangun. Selain itu, dilakukan juga interpretasi dari hasil analisis
tersebut. Apakah layak atau tidak nya sistem ini.
3.3.7 Penarikan Kesimpulan
Pada tahap ini akan dibuat kesimpulan dari hasil analisis dan evaluasi data yang telah
diuji coba berdasarkan rumusan masalah. Dengan begitu juga dapat ditarik kesimpulan
berupa akurasi dalam bentuk persen. Kesimpulan ini menentukan kinerja sistem yang telah
dibuat. Kesimpulan dapat dilihat pada BAB V.
Nuraini Putri Permatasari, 2016
SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS SENSOR 2.5D
Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu