Pengenalan Gerakan Tangan Manusia Untuk Interaksi Manusia-Komputer

ii

ABSTRAK

Gerakan tangan manusia memiliki peran yang penting dalam berinteraksi. Pengenalan
gerakan tangan manusia saat ini merupakan area aktif dalam penelitian untuk interaksi
manusia dan komputer. Pengenalan gerakan tangan manusia telah diteliti sebelumnya
dengan berbagai teknik dan alat pendukung yang berbeda, seperti Kinect dan data glove.
Adapun berbagai tantangan yang dihadapi dalam mengenali gerakan tangan manusia
yaitu mencakup permasalahan kondisi iluminasi yang bervariasi, rotasi tangan, latar
belakang (background), ukuran tangan, dan klasifikasi atau translasi tangan. Pada
penelitian ini, peneliti menggunakan teknik-teknik Computer Vision untuk mengenali
gerakan tangan sebagai alat interaksi manusia dan komputer untuk mengendalikan
berbagai aplikasi, yaitu aplikasi pengolah presentasi, pemutar musik, pemutar video dan
PDF reader dengan kondisi tangan kosong dan latar belakang yang kompleks melalui
kamera web. Untuk menangani permasalahan kondisi tangan dan latar belakang
tersebut juga dibutuhkan suatu metode tertentu. Metode yang diajukan oleh peneliti
adalah penggunaan ruang warna campuran, yaitu HS-CbCr untuk pendeteksian warna
kulit dan teknik average background untuk menangani masalah background. Hasil
pengujian menunjukkan bahwa metode yang diajukan mampu mengenali gerakan
tangan manusia dan menghasilkan tingkat akurasi mencapai 96.87% dalam kondisi

pencahayaan yang baik. Keakuratan pengenalan gerakan tangan manusia dipengaruhi
kondisi pencahayaan, semakin sedikit perubahan iluminasi yang terjadi, semakin tinggi
tingkat akurasi yang dihasilkan.

Kata kunci : pengenalan gerakan tangan, interaksi manusia-komputer, pendeteksian
warna kulit, average background, convexity defects

iii

HAND GESTURE RECOGNITION FOR
HUMAN-COMPUTER INTERACTION
ABSTRACT

Hand gesture has a significant role in human’s interaction. Hand gesture recognition
nowadays is an active research area for human-computer interaction. In previous
research for hand gesture recognition, they used various techniques and tools such as
Kinect and data glove. Hand gesture recognition systems confronts many challenges,
such as variation of illumination conditions, rotation problem, background problem,
scale problem, and classification or translation problem. In this research, we use
computer vision techniques to recognize hand gesture for human-computer interaction

in controlling various apps, such as slideshow presentation, music player, video player,
and PDF reader app with bare hand and in complex background via web camera.
Therefore, a method is required to cope with background and skin detection problem.
In our proposed method, we combine two color spaces become HS-CbCr for skin
detection and use averaging background for solving the background problem. The result
shows that the proposed method is able to recognize hand gesture and get up to 96.87%
correct results on good lighting condition. The accuracy of hand gesture recognition is
influenced by lighting condition. The lower changing illumination on video occurs, the
higher accuracy of hand gesture recognition is generated.

Keywords : hand gesture recognition, human-computer interaction, skin detection,
average background, convexity defects