Pengenalan Gerakan Tangan Manusia Menggunakan Deep Neural Network
BAB 1
PENDAHULUAN
1.1. Latar Belakang
Salah satu cara yang umum untuk melakukan interaksi dengan komputer adalah
melalui penggunaan keyboard dan mouse. Namun, interaksi tersebut tidak dapat
dilakukan oleh tunadaksa yang memiliki disabilitas (cacat) pada pergelangan tangan
sampai ujung jari tangan. Disabilitas yang terjadi misalnya dapat berupa kelumpuhan
dari pergelangan tangan sampai ujung jari tangan dan pergelangan tangan ataupun jari
tangan diamputasi. Untuk mengatasi permasalahan yang terjadi, dibutuhkan suatu
pendekatan untuk mengenali gerakan tangan manusia dengan tidak memperdulikan
disabilitas yang terjadi pada pergelangan tangan sampai ujung jari tangan sebagai
sarana interaksi manusia dan komputer.
Penelitian mengenai pengenalan gerakan tangan manusia telah dilakukan oleh
beberapa peneliti sebelumnya dengan menggunakan berbagai metode. Neto, et al.
(2013) meneliti tentang penempatan gerakan tangan yang statis secara real-time dan
berlanjut dengan mengimplementasikan metode Artificial Neural Network (ANN).
Melalui penelitian ini robot dapat diinstruksikan untuk melakukan gerakan tangan
yang sama dengan gerakan tangan manusia. Penelitian ini menghasilkan tingkat
pengenalan yang sangat baik yaitu 99,8% untuk sepuluh gerakan tangan dan 96,3%
untuk tiga puluh gerakan. Selain itu, hasil dari penelitian ini juga menunjukkan bahwa
pelatihan dan pembelajaran dapat dilakukan dengan waktu yang singkat serta mampu
mengeneralisasi dan mengoperasikan kondisi di sekitar lingkungan secara independen.
Ramjan, et al. (2014) meneliti tentang implementasi pengenalan dan pendeteksian
gerakan tangan secara real-time untuk interaksi manusia dan komputer. Kamera web
digunakan untuk menelusuri gerakan objek pada penelitian ini. Proses blurring,
grayscaling, HSV (Hue Saturation Value) model dan blob detection kemudian
dilakukan pada objek yang tertangkap. Proses akhir dari penelitian ini yaitu penentuan
Universitas Sumatera Utara
2
gerakan melalui proses mencocokkan gambar dengan gambar yang tersimpan dalam
database. Hasil dari penelitian ini menunjukkan bahwa interaksi yang melibatkan
penambahan tulisan baru, pengontrolan media seperti pemutar music, slide presentasi,
photo viewer dan operasi pada PC dapat dilakukan menggunakan gerakan tangan.
Chairunnisa (2015) mengajukan
penelitian mengenai pengenalan gerakan tangan
manusia yang statis menggunakan Hs-CbCr (HueSaturation-ChromaBlueChromaRed)
untuk mendeteksi warna kulit. Aplikasi pengolah presentasi, pemutar musik, pemutar
video dan PDF reader dapat dikendalikan menggunakan kondisi tangan kosong dan
latar belakang yang kompleks melalui kamera web. Hasil penelitian ini mencapai
tingkat akurasi 96,87% dalam mengenali gerakan tangan manusia yang statis dengan
syarat kondisi pencahayaan yang baik.
Penelitian yang telah dilakukan sebelumnya memiliki beberapa kelemahan yakni
tingkat akurasi yang semakin menurun apabila pengenalan jenis gerakan tangan
dilakukan dalam jumlah yang besar. Pengenalan gerakan tangan yang dilakukan masih
statis sehingga masih kurang interaktif. Pada penelitian mengenai pengenalan gerakan
tangan dinamis ditemukan bahwa ada kemungkinan gambar yang ditangkap tidak
cocok dengan setiap gambar yang tersimpan dalam database. Untuk mengatasi
kelemahan-kelemahan yang terdapat pada penelitian sebelumnya, penulis mencoba
untuk melakukan penelitian mengenai pengenalan gerakan tangan manusia untuk
interaksi manusia-komputer dengan mengimplementasikan metode Deep Neural
Network (DNN). Jurnal mengenai DNN pertama kali dipublikasikan pada tahun 1971
yang meneliti tentang pelatihan deep network dengan delapan lapisan (layer)
menggunakan algoritma Group Method of Data Handling (GMDH) (Ivakhnenko,
1971). Pengembangan DNN pada tahun 2016 dilakukan oleh perusahaan Google
dengan membuat kecerdasan buatan dalam permainan igo yang disebut sebagai
AlphaGo. AlphaGo berhasil mengalahkan juara igo Eropa dan memiliki tingkat
kemenangan sebesar 99,8% dalam permainan igo (Silver et al., 2016).
DNN merupakan feed-forward Neural Network dengan jumlah hidden layer lebih
dari satu. Arsitektur ini juga sering disebut sebagai deep architecture. DNN
merupakan sebuah teknik pada mesin pembelajaran (machine learning) yang
menggunakan data dalam jumlah besar untuk mengajarkan mesin komputer
mengerjakan hal yang dapat dilakukan oleh manusia seperti mengenali gambar,
tulisan, bahasa hingga mengurutkannya dalam pencarian. DNN menggunakan banyak
Universitas Sumatera Utara
3
lapisan (layer) dari pemrosesan informasi non-linear untuk ekstrasi dan pembentukan
fitur yang diawasi atau tidak, serta untuk analisis dan klasifikasi pada pola (Deng &
Yu, 2014). Berdasarkan latar belakang di atas, penulis mengajukan proposal penelitian
dengan
judul
“PENGENALAN
GERAKAN
TANGAN
MANUSIA
MENGGUNAKAN DEEP NEURAL NETWORK”.
1.2. Rumusan Masalah
Interaksi manusia dan komputer secara umum dilakukan menggunakan keyboard dan
mouse. Interaksi tersebut memiliki kekurangan dimana interaksi tidak dapat dilakukan
oleh tunadaksa yang mengalami disabilitas (cacat) pada pergelangan tangan sampai
ujung jari tangan. Hal ini menyebabkan diperlukannya suatu pendekatan untuk
mengenali gerakan tangan manusia dalam interaksi manusia-komputer.
1.3. Tujuan Penelitian
Mengenali gerakan tangan manusia menggunakan Deep Neural Network dan hasil
pengenalan gerakan tangan manusia akan diimplementasikan untuk mengendalikan
aplikasi komputer.
1.4. Batasan Masalah
Untuk menghindari perluasan dan penyimpangan yang tidak diperlukan, penulis
mebuat batasan sebagai berikut:
1. Pengenalan gerakan tangan yang dilakukan hanya meliputi tangan manusia.
2. Pengambilan gerakan tangan dilakukan dengan kondisi satu tangan dan tangan
tidak memegang benda apapun.
3. Arah gerakan tangan yang dikenali dibagi menjadi dua kelompok yakni empat
jenis arah gerakan tangan yang terdiri dari arah ke kanan, ke kiri, ke atas dan ke
bawah dan enam jenis arah gerakan tangan yang terdiri dari arah ke kanan, ke kiri,
ke atas, ke bawah, ke depan dan ke belakang.
4. Hasil pengenalan gerakan tangan hanya dapat digunakan untuk mengendalikan
aplikasi file explorer, music player, video player, slideshow dan PDF reader.
Universitas Sumatera Utara
4
1.5. Manfaat Penelitian
Manfaat dari penelitian ini adalah:
1. Mengetahui proses kerja dari metode Deep Neural Network dalam melakukan
proses pengenalan gerakan tangan manusia.
2. Membantu pengguna dalam melakukan interaksi dengan komputer menggunakan
gerakan tangan.
3. Membantu pengguna yang memiliki disabilitas pada tangan seperti kelumpuhan
dari pergelangan tangan sampai ujung jari tangan dan pergelangan tangan ataupun
jari tangan yang diamputasi dalam melakukan interaksi dengan komputer
menggunakan gerakan tangan.
1.6. Metodologi Penelitian
Tahapan-tahapan yang akan dilakukan pada pelaksanaan penelitian adalah sebagai
berikut:
1. Studi Literatur
Studi Literatur dilakukan dalam rangka pengumpulan bahan referensi mengenai
nearest neighbor, grayscaling, frame differencing, jaringan saraf tiruan, dan Deep
Neural Network.dari beberapa jurnal, artikel, buku, dan beberapa sumber referensi
lainnya.
2.
Analisis Permasalahan
Pada tahap ini dilakukan analisis terhadap studi literatur yang telah dikumpulkan
pada tahap sebelumnya untuk mendapatkan pemahaman mengenai metode yang
diterapkan yakni Deep Neural Network, serta masalah yang akan diselesaikan
yakni pengenalan gerakan tangan manusia.
3.
Perancangan
Pada tahap ini dilakukan perancangan arsitektur, pengumpulan data, pembagian
data yang telah didapatkan ke dalam training dataset dan testing dataset serta
perancangan antarmuka. Proses perancangan dilakukan berdasarkan hasil analisis
studi literatur yang telah diperoleh.
4.
Implementasi
Pada tahap ini dilakukan implementasi ke dalam kode sesuai dengan analisis dan
perancangan yang telah dilakukan pada tahap sebelumnya.
Universitas Sumatera Utara
5
5.
Pengujian
Pada tahap ini dilakukan pengujian terhadap hasil yang didapatkan melalui
implementasi metode Deep Neural Network dalam mengenali gerakan tangan
manusia untuk memastikan hasil pengenalan sesuai dengan apa yang diharapkan.
6. Dokumentasi dan Penyusunan Laporan
Pada tahap ini dilakukan dokumentasi dan penyusunan laporan hasil evaluasi dan
analisis serta implementasi metode Deep Neural Network dalam pengenalan
gerakan tangan manusia.
1.7. Sistematika Penulisan
Sistematika penulisan dari skripsi ini terdiri atas lima bagian utama sebagai berikut:
Bab 1: Pendahuluan
Bab ini berisi latar belakang dari peneltian yang dilaksanakan, rumusan masalah,
tujuan penelitian, batasan masalah, manfaat penelitian, metodologi penelitian, serta
sistematika penulisan.
Bab 2: Landasan Teori
Bab ini berisi teori-teori yang diperlukan untuk memahami permasalahan yang
dibahas pada penelitian ini. Teori-teori yang berhubungan dengan nearest neighbor,
grayscaling, frame differencing, Principal Component Analysis, jaringan saraf tiruan,
dan Deep Neural Network akan dibahas pada bab ini.
Bab 3: Analisis dan Perancangan
Bab ini menjabarkan arsitektur umum, tiap langkah pre-processing yang dilakukan,
serta analisis dan penerapan metode Deep Neural Network untuk melakukan
pengenalan gerakan tangan manusia yang tertangkap oleh kamera web.
Bab 4: Implementasi dan Pengujian
Bab ini berisi pembahasan tentang implementasi dari perancangan penerapan yang
telah dijabarkan pada bab 3. Selain itu, hasil yang didapatkan dari pengujian terhadap
implementasi yang dilakukan juga dijabarkan pada bab ini.
Universitas Sumatera Utara
6
Bab 5: Kesimpulan dan Saran
Bab ini berisi ringkasan serta kesimpulan dari rancangan yang telah dibahas pada bab
3, serta hasil penelitian yang dijabarkan pada bab 4. Bagian akhir dari bab ini akan
berisi saran-saran yang diajukan untuk pengembangan penelitian selanjutnya.
Universitas Sumatera Utara
PENDAHULUAN
1.1. Latar Belakang
Salah satu cara yang umum untuk melakukan interaksi dengan komputer adalah
melalui penggunaan keyboard dan mouse. Namun, interaksi tersebut tidak dapat
dilakukan oleh tunadaksa yang memiliki disabilitas (cacat) pada pergelangan tangan
sampai ujung jari tangan. Disabilitas yang terjadi misalnya dapat berupa kelumpuhan
dari pergelangan tangan sampai ujung jari tangan dan pergelangan tangan ataupun jari
tangan diamputasi. Untuk mengatasi permasalahan yang terjadi, dibutuhkan suatu
pendekatan untuk mengenali gerakan tangan manusia dengan tidak memperdulikan
disabilitas yang terjadi pada pergelangan tangan sampai ujung jari tangan sebagai
sarana interaksi manusia dan komputer.
Penelitian mengenai pengenalan gerakan tangan manusia telah dilakukan oleh
beberapa peneliti sebelumnya dengan menggunakan berbagai metode. Neto, et al.
(2013) meneliti tentang penempatan gerakan tangan yang statis secara real-time dan
berlanjut dengan mengimplementasikan metode Artificial Neural Network (ANN).
Melalui penelitian ini robot dapat diinstruksikan untuk melakukan gerakan tangan
yang sama dengan gerakan tangan manusia. Penelitian ini menghasilkan tingkat
pengenalan yang sangat baik yaitu 99,8% untuk sepuluh gerakan tangan dan 96,3%
untuk tiga puluh gerakan. Selain itu, hasil dari penelitian ini juga menunjukkan bahwa
pelatihan dan pembelajaran dapat dilakukan dengan waktu yang singkat serta mampu
mengeneralisasi dan mengoperasikan kondisi di sekitar lingkungan secara independen.
Ramjan, et al. (2014) meneliti tentang implementasi pengenalan dan pendeteksian
gerakan tangan secara real-time untuk interaksi manusia dan komputer. Kamera web
digunakan untuk menelusuri gerakan objek pada penelitian ini. Proses blurring,
grayscaling, HSV (Hue Saturation Value) model dan blob detection kemudian
dilakukan pada objek yang tertangkap. Proses akhir dari penelitian ini yaitu penentuan
Universitas Sumatera Utara
2
gerakan melalui proses mencocokkan gambar dengan gambar yang tersimpan dalam
database. Hasil dari penelitian ini menunjukkan bahwa interaksi yang melibatkan
penambahan tulisan baru, pengontrolan media seperti pemutar music, slide presentasi,
photo viewer dan operasi pada PC dapat dilakukan menggunakan gerakan tangan.
Chairunnisa (2015) mengajukan
penelitian mengenai pengenalan gerakan tangan
manusia yang statis menggunakan Hs-CbCr (HueSaturation-ChromaBlueChromaRed)
untuk mendeteksi warna kulit. Aplikasi pengolah presentasi, pemutar musik, pemutar
video dan PDF reader dapat dikendalikan menggunakan kondisi tangan kosong dan
latar belakang yang kompleks melalui kamera web. Hasil penelitian ini mencapai
tingkat akurasi 96,87% dalam mengenali gerakan tangan manusia yang statis dengan
syarat kondisi pencahayaan yang baik.
Penelitian yang telah dilakukan sebelumnya memiliki beberapa kelemahan yakni
tingkat akurasi yang semakin menurun apabila pengenalan jenis gerakan tangan
dilakukan dalam jumlah yang besar. Pengenalan gerakan tangan yang dilakukan masih
statis sehingga masih kurang interaktif. Pada penelitian mengenai pengenalan gerakan
tangan dinamis ditemukan bahwa ada kemungkinan gambar yang ditangkap tidak
cocok dengan setiap gambar yang tersimpan dalam database. Untuk mengatasi
kelemahan-kelemahan yang terdapat pada penelitian sebelumnya, penulis mencoba
untuk melakukan penelitian mengenai pengenalan gerakan tangan manusia untuk
interaksi manusia-komputer dengan mengimplementasikan metode Deep Neural
Network (DNN). Jurnal mengenai DNN pertama kali dipublikasikan pada tahun 1971
yang meneliti tentang pelatihan deep network dengan delapan lapisan (layer)
menggunakan algoritma Group Method of Data Handling (GMDH) (Ivakhnenko,
1971). Pengembangan DNN pada tahun 2016 dilakukan oleh perusahaan Google
dengan membuat kecerdasan buatan dalam permainan igo yang disebut sebagai
AlphaGo. AlphaGo berhasil mengalahkan juara igo Eropa dan memiliki tingkat
kemenangan sebesar 99,8% dalam permainan igo (Silver et al., 2016).
DNN merupakan feed-forward Neural Network dengan jumlah hidden layer lebih
dari satu. Arsitektur ini juga sering disebut sebagai deep architecture. DNN
merupakan sebuah teknik pada mesin pembelajaran (machine learning) yang
menggunakan data dalam jumlah besar untuk mengajarkan mesin komputer
mengerjakan hal yang dapat dilakukan oleh manusia seperti mengenali gambar,
tulisan, bahasa hingga mengurutkannya dalam pencarian. DNN menggunakan banyak
Universitas Sumatera Utara
3
lapisan (layer) dari pemrosesan informasi non-linear untuk ekstrasi dan pembentukan
fitur yang diawasi atau tidak, serta untuk analisis dan klasifikasi pada pola (Deng &
Yu, 2014). Berdasarkan latar belakang di atas, penulis mengajukan proposal penelitian
dengan
judul
“PENGENALAN
GERAKAN
TANGAN
MANUSIA
MENGGUNAKAN DEEP NEURAL NETWORK”.
1.2. Rumusan Masalah
Interaksi manusia dan komputer secara umum dilakukan menggunakan keyboard dan
mouse. Interaksi tersebut memiliki kekurangan dimana interaksi tidak dapat dilakukan
oleh tunadaksa yang mengalami disabilitas (cacat) pada pergelangan tangan sampai
ujung jari tangan. Hal ini menyebabkan diperlukannya suatu pendekatan untuk
mengenali gerakan tangan manusia dalam interaksi manusia-komputer.
1.3. Tujuan Penelitian
Mengenali gerakan tangan manusia menggunakan Deep Neural Network dan hasil
pengenalan gerakan tangan manusia akan diimplementasikan untuk mengendalikan
aplikasi komputer.
1.4. Batasan Masalah
Untuk menghindari perluasan dan penyimpangan yang tidak diperlukan, penulis
mebuat batasan sebagai berikut:
1. Pengenalan gerakan tangan yang dilakukan hanya meliputi tangan manusia.
2. Pengambilan gerakan tangan dilakukan dengan kondisi satu tangan dan tangan
tidak memegang benda apapun.
3. Arah gerakan tangan yang dikenali dibagi menjadi dua kelompok yakni empat
jenis arah gerakan tangan yang terdiri dari arah ke kanan, ke kiri, ke atas dan ke
bawah dan enam jenis arah gerakan tangan yang terdiri dari arah ke kanan, ke kiri,
ke atas, ke bawah, ke depan dan ke belakang.
4. Hasil pengenalan gerakan tangan hanya dapat digunakan untuk mengendalikan
aplikasi file explorer, music player, video player, slideshow dan PDF reader.
Universitas Sumatera Utara
4
1.5. Manfaat Penelitian
Manfaat dari penelitian ini adalah:
1. Mengetahui proses kerja dari metode Deep Neural Network dalam melakukan
proses pengenalan gerakan tangan manusia.
2. Membantu pengguna dalam melakukan interaksi dengan komputer menggunakan
gerakan tangan.
3. Membantu pengguna yang memiliki disabilitas pada tangan seperti kelumpuhan
dari pergelangan tangan sampai ujung jari tangan dan pergelangan tangan ataupun
jari tangan yang diamputasi dalam melakukan interaksi dengan komputer
menggunakan gerakan tangan.
1.6. Metodologi Penelitian
Tahapan-tahapan yang akan dilakukan pada pelaksanaan penelitian adalah sebagai
berikut:
1. Studi Literatur
Studi Literatur dilakukan dalam rangka pengumpulan bahan referensi mengenai
nearest neighbor, grayscaling, frame differencing, jaringan saraf tiruan, dan Deep
Neural Network.dari beberapa jurnal, artikel, buku, dan beberapa sumber referensi
lainnya.
2.
Analisis Permasalahan
Pada tahap ini dilakukan analisis terhadap studi literatur yang telah dikumpulkan
pada tahap sebelumnya untuk mendapatkan pemahaman mengenai metode yang
diterapkan yakni Deep Neural Network, serta masalah yang akan diselesaikan
yakni pengenalan gerakan tangan manusia.
3.
Perancangan
Pada tahap ini dilakukan perancangan arsitektur, pengumpulan data, pembagian
data yang telah didapatkan ke dalam training dataset dan testing dataset serta
perancangan antarmuka. Proses perancangan dilakukan berdasarkan hasil analisis
studi literatur yang telah diperoleh.
4.
Implementasi
Pada tahap ini dilakukan implementasi ke dalam kode sesuai dengan analisis dan
perancangan yang telah dilakukan pada tahap sebelumnya.
Universitas Sumatera Utara
5
5.
Pengujian
Pada tahap ini dilakukan pengujian terhadap hasil yang didapatkan melalui
implementasi metode Deep Neural Network dalam mengenali gerakan tangan
manusia untuk memastikan hasil pengenalan sesuai dengan apa yang diharapkan.
6. Dokumentasi dan Penyusunan Laporan
Pada tahap ini dilakukan dokumentasi dan penyusunan laporan hasil evaluasi dan
analisis serta implementasi metode Deep Neural Network dalam pengenalan
gerakan tangan manusia.
1.7. Sistematika Penulisan
Sistematika penulisan dari skripsi ini terdiri atas lima bagian utama sebagai berikut:
Bab 1: Pendahuluan
Bab ini berisi latar belakang dari peneltian yang dilaksanakan, rumusan masalah,
tujuan penelitian, batasan masalah, manfaat penelitian, metodologi penelitian, serta
sistematika penulisan.
Bab 2: Landasan Teori
Bab ini berisi teori-teori yang diperlukan untuk memahami permasalahan yang
dibahas pada penelitian ini. Teori-teori yang berhubungan dengan nearest neighbor,
grayscaling, frame differencing, Principal Component Analysis, jaringan saraf tiruan,
dan Deep Neural Network akan dibahas pada bab ini.
Bab 3: Analisis dan Perancangan
Bab ini menjabarkan arsitektur umum, tiap langkah pre-processing yang dilakukan,
serta analisis dan penerapan metode Deep Neural Network untuk melakukan
pengenalan gerakan tangan manusia yang tertangkap oleh kamera web.
Bab 4: Implementasi dan Pengujian
Bab ini berisi pembahasan tentang implementasi dari perancangan penerapan yang
telah dijabarkan pada bab 3. Selain itu, hasil yang didapatkan dari pengujian terhadap
implementasi yang dilakukan juga dijabarkan pada bab ini.
Universitas Sumatera Utara
6
Bab 5: Kesimpulan dan Saran
Bab ini berisi ringkasan serta kesimpulan dari rancangan yang telah dibahas pada bab
3, serta hasil penelitian yang dijabarkan pada bab 4. Bagian akhir dari bab ini akan
berisi saran-saran yang diajukan untuk pengembangan penelitian selanjutnya.
Universitas Sumatera Utara