Implementasi Pengenalan Gestur Tubuh ke
JOIN (Jurnal Online Informatika)
Volume 3 No. 1 | Januari 2018 : 1-2
DOI: 10.15575/join.v3i1.xxx
Implementasi Pengenalan Gestur Tubuh ke
dalam Smartphone
sebagai Sistem Keamanan
Zulfadli Sultan1, Muhammad Habib2, Nurjannah3, Esa Firmansyah4
[email protected], 2 [email protected], 3
[email protected], [email protected]
1
Abstract-The use of smartphones currently wider every day along with the development of information and
communication technology. However these developments gave rise to the larger problems seen from the security
system. Therefore devices that are developed should pay attention to security aspects. The security aspect is
added to the system often causes have to sacrifice the comfort of users in the context of computer interaction
with humans. The purpose of this research is to facilitate security smartphones in an emergency by using body
gestures. To realize these goals and in this study utilized an introduction to observe the hands and face, his
analysis with the method of HMM-based movement is a movement that can be implemented to secure
smartphone.
Keywords- body gestures, hand recognition, face recognition
Abstrak-Penggunaan smartphone saat ini semakin luas setiap hari seiring dengan
perkembangan teknologi informasi dan komunikasi. Namun perkembangan ini
memunculkan permasalahan yang semakin besar dilihat dari sisi keamanan sistem.
Karenanya perangkat-perangkat yang dikembangkan harus memperhatikan aspek
kemananan. Aspek keamanan yang ditambahkan pada sistem seringkali
menyebabkan harus mengorbankan kenyamanan pengguna dalam konteks interaksi
komputer dengan manusia. Tujuan dari penelitian ini adalah untuk memudahkan
keamanan smartphone dalam keadaan darurat dengan menggunakan gestur tubuh.
Untuk merealisasikan tujuan tersebut maka pada penelitian ini dimanfaatkan
pengenalan gerak tangan dan wajah, analisanya dengan metode gerakan berbasis
HMM yang dimana gerakan tersebut dapat di implementasikan untuk mengamankan
smartphone.
Kata kunci- gestur tubuh, pengenalan tangan, pengenalan wajah
I. PENDAHULUAN
Pengenalan wajah adalah salah satu bidang kaji dalam pengenalan pola yang selalu mengalami pengembangan. Kehandalan sebuah metode bisa dilihat dari
proses perhitungan dengan biaya minimal dan hasil perhitungan dengan tingkat kesalahan yang relatif kecil.
Sistem Teknologi antarmuka dibuat dengan tujuan
untuk membantu kehidupan manusia supaya menjadi
lebih mudah, efektif dan efisien. Demikian juga dengan
perkembangan smartphone yang hingga saat ini menjadi
salah satu kebutuhan primer antara interaksi manusia dan
komputer. Terdapat banyak fitur smartphone yang
semakin canggih dalam hal pengenalan terhadap tubuh
manusia seperti pengenalan wajah, sidik jari, sensor retina
dan banyak yang lainnya.
Dalam beberapa tahun terakhir, pengenalan gerakan
dari video khususnya stream memiliki banyak pengguna
karena lingkup menjanjikan aplikasi dalam domain
Makalah dikirim: -
interaksi manusia komputer termasuk analisis kinerja
atletik seperti pengawasan, video conferencing, tanda
pengenalan bahasa, deteksi kebohongan, aplikasi
rehabilitatif dan sebagainya. Antarmuka komputer
manusia efisien harus mampu mengenali manusia dan
geraknya berdasarkan visi mereka untuk berkomunikasi
dengan mudah sehingga demikian pengenalan isyarat
merupakan alat penting yang menyediakan bantuan
kepada mesin untuk berinteraksi cerdas[1].
Gestur tubuh sangat mempengaruhi keadaan
seseorang ketika melakukan sebuah gerakan melalui
stream video yang digunakan. Seperti yang disarankan
dalam istilah “static”, gerakan ini sama dengan kecepatan
waktu, sehingga tidak mengacu pada postur yang
ditangkap pada waktu tertentu, seperti contoh sikap dari
seorang laki-laki yang duduk di kursi atau sedang
membaca
buku.
Sebaliknya,
gerakan
dinamis
menandakan koleksi postur berurutan yang dihubungkan
dengan gerakan tertentu yang dilakukan selama rentang
1
JOIN (Jurnal Online Informatika)
waktu yang singkat. Misalnya, dalam kasus rangkaian
video, frame individu dengan posisi sementara akan
diperlakukan sebagai isyarat. Kita sedang berusaha untuk
mengembangkan sistem pengenalan gerakan dinamis,
dengan mempertimbangkan gerakan sebagai kumpulan
postur terkait dengan frame yang berbeda.
Pengenalan Gestur Tubuh terutama bahasa isyarat bisa
digunakan untuk masalah keamanan darurat. Telah
banyak penggunaan gesture tubuh di aplikasikan ke dalam
komputer ataupun smartphone misalnya sensor retina
untuk membuka keamanan smartphone, gestur tangan
untuk memindahkan kursor di komputer. Namun itu
hanya penggunaan keamanan secara real time, Sehingga
dibuatlah keamanan darurat dengan menggunakan gestur
tangan dan wajah untuk melindungi smartphone ketika
dalam bahaya ataupun dalam keadaan darurat.
Bagian II pada makalah ini akan membahas tentang
Metodologi dalam penggunaan gestur tubuh yang di
implementasikan ke dalam smartphone dengan
menggunakan metode HMM (Hidden Markov Model)
Based, Metode Hand Gesture dan juga Metode video
based facial expression and emotions.
II. TINJAUAN PUSTAKA
Algoritma Nearest Features merupakan salah satu
metode dalam pengenalan gesture tubuh, terkhusus pada
wajah manusia. Algoritma ini digunakan untuk mencari
jarak minimum antara feature point yang di-query-kan.
Feature line adalah garis virtual yang menghubungkan
dua pro-totype dalam sebuah kelas (satu orang). Namun
disini kami menggunakan metode HMM Based yang
hampir mirip dengan metode Algoritma Nearest Features.
Hidden Markov Model (HMM) adalah sebuah model
statistic dari sebuah sistem yang diasumsikan sebuah
proses Markov dengan parameter yang tak diketahui, dan
tantangannya adalah menentukan parameter tersebut.
Algoritma Nearest Features, khususnya metode K-Nearest
Neighbour (KNN) merupakan klasifikasi dari metode
Hidden Markov Model yang diteliti.
ISSN 2527-1682 (Print)
ISSN 2527-9165 (Online)
yang mampu mewakili sistem stochastic yang
diasumsikan menjadi proses Markov dengan negaranegara yang tidak teramati. Hal ini dapat digambarkan
sebagai sistem stokastik ganda tertanam terdiri dari rantai
Markov dan proses stokastik umum di mana proses yang
mendasari tidak bisa diamati secara langsung melainkan
dapat diamati melalui set lain dari proses stokastik yang
menghasilkan urutan output diamati[1].
HMM khas dapat dicirikan dikaitkan dengan jumlah
bagian dalam model yang dinyatakan sebagai, S = {S 1, S2…
Sm} dan keadaan pada waktu t dinotasikan sebagai qt, M
sejumlah simbol observasi yang berbeda perbagian yang
dapat dinyatakan sebagai, V = {V1, V2,…Vm}. Dalam
kasus ini, HMM biasanya terdiri dari tiga macam
parameter,
A. Transition Probability Matrix
Matriks probabilitas transisi A = {aij} dimana
tunduk pada kendala
A adalah
matriks N × N dan aij pada dasarnya adalah
probabilitas transisi dari keadaan Si ke Sj[1][2].
B. Observation Symbol Probability
Matriks probabilitas simbol pengamatan pada
keadaan j, B = {bj (k)}, dimana
tunduk pada kendala,
B adalah
matriks N × M dan bj (k) adalah probabilitas
untuk memancarkan Vk pada waktu t di keadaan
Sj[1][3].
C. Initial State Distribution
Distribusi keadaan awal
, dimana
III. PEMBAHASAN
Dihasilkan tingkat akurasi pengenalan yang tinggi
sebagai pengenalan gestur dengan menggunakan metode
HMM. Hal ini menjadi pertimbangan penggunaan metode
HMM dalam perancangan aplikasi gesture recognition
sebagai pembacaan gerakan tangan menjadi kata sehingga
tidak jarang metode HMM ini sangat erat kaitannya antara
manusia dan komputer, dan dalam makalah ini metode
HMM dibutuhkan dalam penerapannya yaitu gestur,
penenalan wajah, suara,teks, dan music yang semuanya
ada diimplementasikan dalam smartphone dan tidak dapat
dipisahkan dalam kehidupan.
Landasan HMM adalah model Markov klasik yang
mengandalkan satu set tetap asumsi yang dikenal sebagai
sifat Markov yang mempertimbangkan sejumlah bagian
tetap, probabilitas transisi tetap dan kemungkinan
melintasi dari satu bagian ke bagian lain melalui rantai
transisi. HMM merupakan model statistik parametrik
tunduk pada kendala,
dimana
adalah probabilitas bahwa keadaan awal adalah
Si[1].
Jadi jika M, N, A, B dan
disediakan, HMM dapat
digunakan untuk menghasilkan urutan pengamatan, yang
dinyatakan sebagai[1],
dimana masing-masing Ot milik V dan T adalah jumlah
pengamatan dalam urutan. Dengan semua parameter yang
dibahas di atas, di HMM umumnya dinyatakan
sebagai[1],
Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan
Kedalam Smartphone
(Zulfadli Sultan)
2
JOIN (Jurnal Online Informatika)
Volume 3 No. 1 | Januari 2018 : 1-2
DOI: 10.15575/join.v3i1.xxx
Terutama, HMM dipekerjakan untuk menangani tiga
macam masalah,
A. Evaluation Problem
Jika urutan pengamatan O = {O1, O2, …
OT} dan model HMM ʎ disediakan, probabilitas
P (O | ʎ) bahwa urutan yang diamati telah
dilakukan oleh model. Masalah ini menyelidiki
sejauh mana model yang dipilih dapat sesuai
dengan urutan pengamatan[4][1].
B. Decoding Problem
Dalam kasus ini, jika urutan
pengamatan O = {O1, O2, … OT} dan model
HMM ʎ disediakan, masalah ini bertujuan untuk
mencari keadaan urutan terdefinisi yang paling
tidak mungkin ditemukan. Dalam kasus model
yang merosot, tidak ada urutan "mutlak" mutlak,
jadi
pengoptimalan
digunakan
untuk
mendapatkan solusi terbaik dari masalah ini.
C. Learning Problem
Mengingat urutan pelatihan O = {O1,
O2, … OT} masalah ini mencoba untuk
menemukan parameter HMM ʎ sehingga P (O |
ʎ) dimaksimalkan. Ini mirip dengan masalah
pemberian isyarat yang tidak beres karena
parameter
HMM
disesuaikan
untuk
menghasilkan urutan yang paling sesuai dan
urutan yang digunakan disebut sebagai urutan
"pelatihan".
Dalam karya ini algoritma pelatihan
Baum Welch telah digunakan dengan asumsi
model kiri-kanan seperti yang ditunjukkan pada
Gbr.1. Untuk model HMM Baum-Welch hanya
dua fungsi yang disebut sebagai probabilitas ke
depan (α (i, t)) dan probabilitas ke belakang (β (i,
t)) untuk masing-masing negara bagian N, (i∈ [1,
N]) dan setiap frame t sedemikian rupa sehingga
(t ∈ [1, T]) untuk urutan pengamatan yang
dinyatakan sebagai O = {O1, O2, … OT} dan
probabilitas turunan ini digunakan untuk
menyesuaikan bobot kontribusi dari masingmasing pengamatan Ot untuk memperkirakan
nilai parameter HMM.
Gambar 1. kiri-kanan
Untuk pengenalan ekspresi wajah pada urutan video,
diusulkan metode Spatiotemporal Texeture Map (STTM)
memiliki kemampuan untuk menangkap variasi spasial
Makalah dikirim: -
dan temporal halus ekspresi wajah dengan kesulitan
komputasi
miskin.
Pertama,
wajah
terdeteksi
menggunakan Viola-Jones detektor wajah dan frame
dipotong untuk menghapus latar yang tidak diinginkan.
Fitur wajah kemudian dimodelkan dengan STTM
diusulkan, yang menggunakan informasi spatiotemporal
dipisahkan dari tiga dimensi fungsi sudut Harris. Sebuah
metode berbasis blok diadopsi untuk mengekstrak fitur
dinamis dan menunjukkan fitur dalam bentuk histogram.
Fitur yang kemudian diklasifikasikan ke dalam kelas
emosi dan ekspresi oleh classifier dukungan mesin
vektor[5].
Penulis mengusulkan untuk efisien ekspresi wajah dan
emosi pengakuan dari frame video. Untuk mengenali
emosi wajah dalam situasi alam dunia nyata, teknik baru
yang disebut Extreme Sparse Learning (ESL), yang
memiliki kemampuan untuk bersama-sama belajar kamus
(set basis) dan model klasifikasi non-Linear. Pendekatan
ini menggabungkan kekuatan diskriminatif Extreme
Learning Machine (ELM) dengan properti rekonstruksi
representasi jarang untuk memungkinkan klasifikasi
akurat ketika disajikan dengan sinyal bising dan data yang
tidak sempurna dicatat dalam pengaturan alam. Selain itu,
karya ini menyajikan spatio-temporal descriptor lokal
baru yang khas dan pose-invarian. Kerangka ini mampu
mencapai akurasi pengenalan mutakhir pada database
emosi wajah[5].
Klasifikasi dilakukan dengan menggunakan Support
Vector Machine (SVM) dan k-Nearest Neighbour (KNN)
classifier. SVM adalah sebuah metode pembelajaran
mesin yang memetakan pada data yang tersedia untuk
feature plane dan kemudian mengusulkan sebuah linear
hyper plane yang pada dasarnya membagi kelas yang
berbeda dengan memisahkan titik data yang relevan.
Kernel terkait dengan SVM adalah Kernel polinomial
dengan derajat 1 dan 2 yang digunakan untuk
mengklasifikasikan set ke dalam kelas yang berbeda.
Classifier kedua yang telah kita dipilih di sini untuk
klasifikasi adalah k-Nearest Neighbor classifier disingkat
KNN. Classifier ini ditandai dengan statistik nonparametrik dan mengasumsikan bahwa data tidak
memiliki parameter dan non-karakteristik dalam
strukturnya juga. Klasifikasi dilakukan berdasarkan
tingkat kesamaan antara pola sampel uji dan pola sampel
pelatihan dalam ruang fitur. Klasifikasi di sini didasarkan
pada penilaian dari tetangganya. Jika k = 1 maka sampel
diasumsikan mewakili kelas yang sama seperti dari
tetangga terdekat. Tujuannya adalah untuk melakukan
perbandingan vektor fitur kode sampel pengujian dari satu
vektor fitur dengan vektor fitur kandidat yang tersisa ini
sampel pengujian dengan bantuan teknik pengukuran
kemiripan baru[6].
Penulis memperkenalkan pengenalan ekspresi wajah
berdasarkan video lain. dalam tulisan ini, terinspirasi oleh
keberhasilan VLBP, penulis pertama menggabungkan
fitur LBP-TOP (yang juga bisa disebut disederhanakan
3D-LBP) dan fitur Gabor representasi untuk
menggambarkan f dinamis urutan ekspresi acial.
Kemudian SVM diadopsi untuk klasifikasi. Percobaan
pada diperpanjang Cohn-Kanade basis data (CK+)
3
JOIN (Jurnal Online Informatika)
ISSN 2527-1682 (Print)
ISSN 2527-9165 (Online)
menunjukkan kinerja yang menjanjikan dari metode
ini[5].
IV. HASIL
Dalam pengenalan gestur tubuh yang di
implementasikan
kedalam
smatrphone,
penulis
menerapkan teknologi HCI di perakitan virtual dalam
rekayasa. Banyak antarmuka atau rancangan yang dapat
membaca intruksi gerakan tubuh, seperti tangan, wajah,
dan gerakan yang dapat dikoneksikan kinerjanya kedalam
sebuah smartphone untuk tujuan tertentu, seperti halnya
keamanan sistem yang mudah di retas agar terjaga baik.
Seperti contoh nya pada gestur tangan, penulis
menggunakan sensor Kinect dari laboratorium untuk
mengumpulkan sampel yang dibutuhkan dalam
lingkungan worning normal lab. Lingkungan worning ini
hanya membutuhkan lingkungan dalam ruangan dengan
pencahayaan normal dan background kompleks[6][2].
Selain itu, wajah manusia memainkan peran yang
sangat penting dalam hari untuk komunikasi hari. Orang
berinteraksi menggunakan kedua kata verbal dan perilaku
non-verbal. ekspresi wajah dari frame kamera
smartphone, dirancang untuk mengenali emosi wajah
dalam situasi tertentu, teknik baru yang disebut Ekstrim
Jarang Belajar (ESL)[5]. Pendekatan ini menggabungkan
kekuatan diskriminatif Extreme Learning Machine (ELM)
dengan properti rekonstruksi representasi. kerangka ini
mampu mencapai state-of-the-art akurasi pengenalan pada
kedua bertindak dan spontan database emosi wajah[6].
Fitur-fitur ini kemudian diproses oleh algoritma
inferensi yang mengakui gerakan tangan tertentu, seperti
Model Hidden Markov (HMM)[1]. Hal ini sangat
representatif dalam aplikasi HCI. Oleh karena itu, tujuan
pengendalian akhir dari program kerjasama makalah ini
ini dibahas adalah sebagai berikut:
A. Gambaran Umum Sistem
1. Pengenalan Gestur menggunakan Data Glove
Tangan porsi pengakuan isyarat
didasarkan pada 5DT Data sarung tangan. Ia
mengakui isyarat dengan pengakuan gerakan
dinamis[7]. Menggunakan metode untuk
menemukan bingkai kunci, ia mencari
keadaan awal dan akhir dari setiap gerakan
tangan, yang melibatkan informasi dari posisi
dan sikap dari telapak tangan dan peregangan
informasi jari, dan sebagainya[7].
Gambar 2. Pengenalan alat pengenalan
gesture.
2.
3.
Gambar 3. Gerakan tangan awal dan
akhir dari perintah.
Gesture Taxonomy For Natural Interaction
Bagian ini memperkenalkan konsepkonsep penting dalam gerakan bagian tubuh,
yang merupakan dasar dari pemodelan sistem
ini[4]. Beberapa taksonomi isyarat telah
diusulkan dalam literatur salah satu gestur
yang tepat untuk HCI. Studi ini didasarkan
pada pengguna non-teknis saat berinteraksi
dengan sistem komputasi[3].
Bentuk Gestur
Gerakan tangan dimodelkan dengan
campuran HMM menggunakan spektral
clustering. Tangan klasifikasi bentuk dan
estimasi tangan kerangka didasarkan pada
hutan keputusan acak. Klasifikasi gerakan
tangan
aktif
sepanjang
waktu[1][4].
Kerangka kerja ini memperkirakan satu set
posteriors untuk label bentuk tangan di setiap
frame, dan terus menggunakan posteriors ini
dan vektor kecepatan observasi untuk
menemukan dan mengklasifikasikan gerakan
dikenal. Mereka membedakan gerakan
dengan gerakan murni dan bentuk tangan
murni dengan thresholding besarnya vektor
kecepatan.
Namun,
mereka
tidak
menyebutkan penanganan gerakan dengan
Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan
Kedalam Smartphone
(Zulfadli Sultan)
4
JOIN (Jurnal Online Informatika)
Volume 3 No. 1 | Januari 2018 : 1-2
DOI: 10.15575/join.v3i1.xxx
pose tangan yang berbeda tapi dengan
gerakan sewenang-wenang. Untuk jenis
gerakan, akan sulit untuk secara manual
menetapkan
batas
kecepatan
untuk
membedakan mereka dari gerakan dengan
jalur yang berbeda[3][8].
Gambar 4. Gambaran sistem.
4.
Tangan Deteksi dan Tracking
Kamera Senz3d menangkap frame
video RGB bersama dengan data yang
mendalam terkait. Thresholding berdasarkan
kedalaman dilakukan untuk menghapus latar
belakang. Kemudian segmentasi berdasarkan
data kedalaman dilakukan untuk objek
terdekat dengan kamera[9][10].
5.
Gesture Recognition
Gambar 5. Tangan bagian analisis
Table 1. Skeletons
Makalah dikirim: -
V. PENUTUP
Interaksi manusia dan komputer memiliki peran yang
sangat penting. Makalah ini disajikan dalam sebuah
pendekatan yang efisien untuk mempermudah pengguna
smartphone seperti halnya dalam bidang keamanan.
Tingkat keamanan sistem yang diperoleh dengan
menggunakan sistem pengenalan berbasis HMM. Di masa
yang akan datang, pekerjaan dapat dimodifikasi dan
ditingkatkan supaya lebih mudah yang jauh lebih baik.
Demikian pula sistem yang diusulkan dalam makalah ini
untuk pengenalan gesture tubuh manusia yang dirancang
menggunakan smartphone sebagai alat utama untuk
mengenali gestur berupa gerakan , seperti hal nya tangan,
wajah, dan juga memahami keadaan manusia dari segi
keamanan.
Metode yang diusulkan untuk real time dalam gestur
gerakan tangan menghasilkan hasil uji dengan akurasi dan
presisi tinggi dan dapat digunakan dunia nyata untuk
interaksi dengan komputer. Hal ini jauh lebih intuitif
untuk digunakan dibandingkan mouse dan dapat
mendeteksi jari akurat dan memiliki potensi besar untuk
perluasan ke aplikasi lain HCI. Kemudian, sistem
berbasis pengenalan wajah dan emosi menggunakan
metode yang berbeda dapat diterapkan dalam smartphone.
5
JOIN (Jurnal Online Informatika)
ISSN 2527-1682 (Print)
ISSN 2527-9165 (Online)
Program kerjasama dari banyak alat interaksi manusia dan
komputer bisa mencapai keandalan dan kenyamanan yang
lebih tinggi
VI. DAFTAR PUSTAKA
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
S. Saha, R. Lahiri, A. Konar, B. Banerjee, and A. K.
Nagar, “HMM-based gesture recognition system using
kinect sensor for improvised human-computer
interaction,” 2017 Int. Jt. Conf. Neural Networks, pp.
2776–2783, 2017.
P. Bao, A. I. Maqueda, C. R. Del-Blanco, and N.
Garciá, “Tiny hand gesture recognition without
localization via a deep convolutional network,” IEEE
Trans. Consum. Electron., vol. 63, no. 3, pp. 251–257,
2017.
F. Yang and H. Shi, “Research on Static Hand Gesture
Recognition Technology for Human Computer
Interaction System,” 2016 Int. Conf. Intell. Transp. Big
Data Smart City, pp. 459–463, 2016.
Z. H. Wang, J. T. Cao, J. G. Liu, and Z. Q. Zhao,
“Design of human-computer interaction control system
based on hand-gesture recognition,” Proc. - 2017 32nd
Youth Acad. Annu. Conf. Chinese Assoc. Autom. YAC
2017, pp. 143–147, 2017.
H. Salih and I. Lalit kulkarni, “Study of Video based
Facial Expression and Emotions Recognition
Methods,” pp. 692–696, 2017.
S. Kamal and M. Rafeeq, “Facial Emotion Recognition
for Human-Computer Interactions using hybrid feature
extraction technique,” 2016.
S. Heng and D. Yunfeng, “Research on Cooperative
Control of Human-Computer Interaction Tools with
High Recognition Rate Based on Neural Network,”
Proc. - 2014 Int. Conf. Virtual Real. Vis. ICVRV 2014,
pp. 350–354, 2015.
R. R. Itkarkar and A. V. Nandi, “A survey of 2D and
3D imaging used in hand gesture recognition for
human-computer interaction (HCI),” WIECON-ECE
2016 - 2016 IEEE Int. WIE Conf. Electr. Comput. Eng.,
no. December, pp. 188–193, 2017.
R. Agrawal and N. Gupta, “Real Time Hand Gesture
Recognition for Human Computer Interaction,” 2016
IEEE 6th Int. Conf. Adv. Comput., pp. 470–475, 2016.
Y. Yin and R. Davis, “Real-time continuous gesture
recognition for natural human-computer interaction,”
2014 IEEE Symp. Vis. Lang. Human-Centric Comput.,
pp. 113–120, 2014.
Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan
Kedalam Smartphone
(Zulfadli Sultan)
6
Volume 3 No. 1 | Januari 2018 : 1-2
DOI: 10.15575/join.v3i1.xxx
Implementasi Pengenalan Gestur Tubuh ke
dalam Smartphone
sebagai Sistem Keamanan
Zulfadli Sultan1, Muhammad Habib2, Nurjannah3, Esa Firmansyah4
[email protected], 2 [email protected], 3
[email protected], [email protected]
1
Abstract-The use of smartphones currently wider every day along with the development of information and
communication technology. However these developments gave rise to the larger problems seen from the security
system. Therefore devices that are developed should pay attention to security aspects. The security aspect is
added to the system often causes have to sacrifice the comfort of users in the context of computer interaction
with humans. The purpose of this research is to facilitate security smartphones in an emergency by using body
gestures. To realize these goals and in this study utilized an introduction to observe the hands and face, his
analysis with the method of HMM-based movement is a movement that can be implemented to secure
smartphone.
Keywords- body gestures, hand recognition, face recognition
Abstrak-Penggunaan smartphone saat ini semakin luas setiap hari seiring dengan
perkembangan teknologi informasi dan komunikasi. Namun perkembangan ini
memunculkan permasalahan yang semakin besar dilihat dari sisi keamanan sistem.
Karenanya perangkat-perangkat yang dikembangkan harus memperhatikan aspek
kemananan. Aspek keamanan yang ditambahkan pada sistem seringkali
menyebabkan harus mengorbankan kenyamanan pengguna dalam konteks interaksi
komputer dengan manusia. Tujuan dari penelitian ini adalah untuk memudahkan
keamanan smartphone dalam keadaan darurat dengan menggunakan gestur tubuh.
Untuk merealisasikan tujuan tersebut maka pada penelitian ini dimanfaatkan
pengenalan gerak tangan dan wajah, analisanya dengan metode gerakan berbasis
HMM yang dimana gerakan tersebut dapat di implementasikan untuk mengamankan
smartphone.
Kata kunci- gestur tubuh, pengenalan tangan, pengenalan wajah
I. PENDAHULUAN
Pengenalan wajah adalah salah satu bidang kaji dalam pengenalan pola yang selalu mengalami pengembangan. Kehandalan sebuah metode bisa dilihat dari
proses perhitungan dengan biaya minimal dan hasil perhitungan dengan tingkat kesalahan yang relatif kecil.
Sistem Teknologi antarmuka dibuat dengan tujuan
untuk membantu kehidupan manusia supaya menjadi
lebih mudah, efektif dan efisien. Demikian juga dengan
perkembangan smartphone yang hingga saat ini menjadi
salah satu kebutuhan primer antara interaksi manusia dan
komputer. Terdapat banyak fitur smartphone yang
semakin canggih dalam hal pengenalan terhadap tubuh
manusia seperti pengenalan wajah, sidik jari, sensor retina
dan banyak yang lainnya.
Dalam beberapa tahun terakhir, pengenalan gerakan
dari video khususnya stream memiliki banyak pengguna
karena lingkup menjanjikan aplikasi dalam domain
Makalah dikirim: -
interaksi manusia komputer termasuk analisis kinerja
atletik seperti pengawasan, video conferencing, tanda
pengenalan bahasa, deteksi kebohongan, aplikasi
rehabilitatif dan sebagainya. Antarmuka komputer
manusia efisien harus mampu mengenali manusia dan
geraknya berdasarkan visi mereka untuk berkomunikasi
dengan mudah sehingga demikian pengenalan isyarat
merupakan alat penting yang menyediakan bantuan
kepada mesin untuk berinteraksi cerdas[1].
Gestur tubuh sangat mempengaruhi keadaan
seseorang ketika melakukan sebuah gerakan melalui
stream video yang digunakan. Seperti yang disarankan
dalam istilah “static”, gerakan ini sama dengan kecepatan
waktu, sehingga tidak mengacu pada postur yang
ditangkap pada waktu tertentu, seperti contoh sikap dari
seorang laki-laki yang duduk di kursi atau sedang
membaca
buku.
Sebaliknya,
gerakan
dinamis
menandakan koleksi postur berurutan yang dihubungkan
dengan gerakan tertentu yang dilakukan selama rentang
1
JOIN (Jurnal Online Informatika)
waktu yang singkat. Misalnya, dalam kasus rangkaian
video, frame individu dengan posisi sementara akan
diperlakukan sebagai isyarat. Kita sedang berusaha untuk
mengembangkan sistem pengenalan gerakan dinamis,
dengan mempertimbangkan gerakan sebagai kumpulan
postur terkait dengan frame yang berbeda.
Pengenalan Gestur Tubuh terutama bahasa isyarat bisa
digunakan untuk masalah keamanan darurat. Telah
banyak penggunaan gesture tubuh di aplikasikan ke dalam
komputer ataupun smartphone misalnya sensor retina
untuk membuka keamanan smartphone, gestur tangan
untuk memindahkan kursor di komputer. Namun itu
hanya penggunaan keamanan secara real time, Sehingga
dibuatlah keamanan darurat dengan menggunakan gestur
tangan dan wajah untuk melindungi smartphone ketika
dalam bahaya ataupun dalam keadaan darurat.
Bagian II pada makalah ini akan membahas tentang
Metodologi dalam penggunaan gestur tubuh yang di
implementasikan ke dalam smartphone dengan
menggunakan metode HMM (Hidden Markov Model)
Based, Metode Hand Gesture dan juga Metode video
based facial expression and emotions.
II. TINJAUAN PUSTAKA
Algoritma Nearest Features merupakan salah satu
metode dalam pengenalan gesture tubuh, terkhusus pada
wajah manusia. Algoritma ini digunakan untuk mencari
jarak minimum antara feature point yang di-query-kan.
Feature line adalah garis virtual yang menghubungkan
dua pro-totype dalam sebuah kelas (satu orang). Namun
disini kami menggunakan metode HMM Based yang
hampir mirip dengan metode Algoritma Nearest Features.
Hidden Markov Model (HMM) adalah sebuah model
statistic dari sebuah sistem yang diasumsikan sebuah
proses Markov dengan parameter yang tak diketahui, dan
tantangannya adalah menentukan parameter tersebut.
Algoritma Nearest Features, khususnya metode K-Nearest
Neighbour (KNN) merupakan klasifikasi dari metode
Hidden Markov Model yang diteliti.
ISSN 2527-1682 (Print)
ISSN 2527-9165 (Online)
yang mampu mewakili sistem stochastic yang
diasumsikan menjadi proses Markov dengan negaranegara yang tidak teramati. Hal ini dapat digambarkan
sebagai sistem stokastik ganda tertanam terdiri dari rantai
Markov dan proses stokastik umum di mana proses yang
mendasari tidak bisa diamati secara langsung melainkan
dapat diamati melalui set lain dari proses stokastik yang
menghasilkan urutan output diamati[1].
HMM khas dapat dicirikan dikaitkan dengan jumlah
bagian dalam model yang dinyatakan sebagai, S = {S 1, S2…
Sm} dan keadaan pada waktu t dinotasikan sebagai qt, M
sejumlah simbol observasi yang berbeda perbagian yang
dapat dinyatakan sebagai, V = {V1, V2,…Vm}. Dalam
kasus ini, HMM biasanya terdiri dari tiga macam
parameter,
A. Transition Probability Matrix
Matriks probabilitas transisi A = {aij} dimana
tunduk pada kendala
A adalah
matriks N × N dan aij pada dasarnya adalah
probabilitas transisi dari keadaan Si ke Sj[1][2].
B. Observation Symbol Probability
Matriks probabilitas simbol pengamatan pada
keadaan j, B = {bj (k)}, dimana
tunduk pada kendala,
B adalah
matriks N × M dan bj (k) adalah probabilitas
untuk memancarkan Vk pada waktu t di keadaan
Sj[1][3].
C. Initial State Distribution
Distribusi keadaan awal
, dimana
III. PEMBAHASAN
Dihasilkan tingkat akurasi pengenalan yang tinggi
sebagai pengenalan gestur dengan menggunakan metode
HMM. Hal ini menjadi pertimbangan penggunaan metode
HMM dalam perancangan aplikasi gesture recognition
sebagai pembacaan gerakan tangan menjadi kata sehingga
tidak jarang metode HMM ini sangat erat kaitannya antara
manusia dan komputer, dan dalam makalah ini metode
HMM dibutuhkan dalam penerapannya yaitu gestur,
penenalan wajah, suara,teks, dan music yang semuanya
ada diimplementasikan dalam smartphone dan tidak dapat
dipisahkan dalam kehidupan.
Landasan HMM adalah model Markov klasik yang
mengandalkan satu set tetap asumsi yang dikenal sebagai
sifat Markov yang mempertimbangkan sejumlah bagian
tetap, probabilitas transisi tetap dan kemungkinan
melintasi dari satu bagian ke bagian lain melalui rantai
transisi. HMM merupakan model statistik parametrik
tunduk pada kendala,
dimana
adalah probabilitas bahwa keadaan awal adalah
Si[1].
Jadi jika M, N, A, B dan
disediakan, HMM dapat
digunakan untuk menghasilkan urutan pengamatan, yang
dinyatakan sebagai[1],
dimana masing-masing Ot milik V dan T adalah jumlah
pengamatan dalam urutan. Dengan semua parameter yang
dibahas di atas, di HMM umumnya dinyatakan
sebagai[1],
Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan
Kedalam Smartphone
(Zulfadli Sultan)
2
JOIN (Jurnal Online Informatika)
Volume 3 No. 1 | Januari 2018 : 1-2
DOI: 10.15575/join.v3i1.xxx
Terutama, HMM dipekerjakan untuk menangani tiga
macam masalah,
A. Evaluation Problem
Jika urutan pengamatan O = {O1, O2, …
OT} dan model HMM ʎ disediakan, probabilitas
P (O | ʎ) bahwa urutan yang diamati telah
dilakukan oleh model. Masalah ini menyelidiki
sejauh mana model yang dipilih dapat sesuai
dengan urutan pengamatan[4][1].
B. Decoding Problem
Dalam kasus ini, jika urutan
pengamatan O = {O1, O2, … OT} dan model
HMM ʎ disediakan, masalah ini bertujuan untuk
mencari keadaan urutan terdefinisi yang paling
tidak mungkin ditemukan. Dalam kasus model
yang merosot, tidak ada urutan "mutlak" mutlak,
jadi
pengoptimalan
digunakan
untuk
mendapatkan solusi terbaik dari masalah ini.
C. Learning Problem
Mengingat urutan pelatihan O = {O1,
O2, … OT} masalah ini mencoba untuk
menemukan parameter HMM ʎ sehingga P (O |
ʎ) dimaksimalkan. Ini mirip dengan masalah
pemberian isyarat yang tidak beres karena
parameter
HMM
disesuaikan
untuk
menghasilkan urutan yang paling sesuai dan
urutan yang digunakan disebut sebagai urutan
"pelatihan".
Dalam karya ini algoritma pelatihan
Baum Welch telah digunakan dengan asumsi
model kiri-kanan seperti yang ditunjukkan pada
Gbr.1. Untuk model HMM Baum-Welch hanya
dua fungsi yang disebut sebagai probabilitas ke
depan (α (i, t)) dan probabilitas ke belakang (β (i,
t)) untuk masing-masing negara bagian N, (i∈ [1,
N]) dan setiap frame t sedemikian rupa sehingga
(t ∈ [1, T]) untuk urutan pengamatan yang
dinyatakan sebagai O = {O1, O2, … OT} dan
probabilitas turunan ini digunakan untuk
menyesuaikan bobot kontribusi dari masingmasing pengamatan Ot untuk memperkirakan
nilai parameter HMM.
Gambar 1. kiri-kanan
Untuk pengenalan ekspresi wajah pada urutan video,
diusulkan metode Spatiotemporal Texeture Map (STTM)
memiliki kemampuan untuk menangkap variasi spasial
Makalah dikirim: -
dan temporal halus ekspresi wajah dengan kesulitan
komputasi
miskin.
Pertama,
wajah
terdeteksi
menggunakan Viola-Jones detektor wajah dan frame
dipotong untuk menghapus latar yang tidak diinginkan.
Fitur wajah kemudian dimodelkan dengan STTM
diusulkan, yang menggunakan informasi spatiotemporal
dipisahkan dari tiga dimensi fungsi sudut Harris. Sebuah
metode berbasis blok diadopsi untuk mengekstrak fitur
dinamis dan menunjukkan fitur dalam bentuk histogram.
Fitur yang kemudian diklasifikasikan ke dalam kelas
emosi dan ekspresi oleh classifier dukungan mesin
vektor[5].
Penulis mengusulkan untuk efisien ekspresi wajah dan
emosi pengakuan dari frame video. Untuk mengenali
emosi wajah dalam situasi alam dunia nyata, teknik baru
yang disebut Extreme Sparse Learning (ESL), yang
memiliki kemampuan untuk bersama-sama belajar kamus
(set basis) dan model klasifikasi non-Linear. Pendekatan
ini menggabungkan kekuatan diskriminatif Extreme
Learning Machine (ELM) dengan properti rekonstruksi
representasi jarang untuk memungkinkan klasifikasi
akurat ketika disajikan dengan sinyal bising dan data yang
tidak sempurna dicatat dalam pengaturan alam. Selain itu,
karya ini menyajikan spatio-temporal descriptor lokal
baru yang khas dan pose-invarian. Kerangka ini mampu
mencapai akurasi pengenalan mutakhir pada database
emosi wajah[5].
Klasifikasi dilakukan dengan menggunakan Support
Vector Machine (SVM) dan k-Nearest Neighbour (KNN)
classifier. SVM adalah sebuah metode pembelajaran
mesin yang memetakan pada data yang tersedia untuk
feature plane dan kemudian mengusulkan sebuah linear
hyper plane yang pada dasarnya membagi kelas yang
berbeda dengan memisahkan titik data yang relevan.
Kernel terkait dengan SVM adalah Kernel polinomial
dengan derajat 1 dan 2 yang digunakan untuk
mengklasifikasikan set ke dalam kelas yang berbeda.
Classifier kedua yang telah kita dipilih di sini untuk
klasifikasi adalah k-Nearest Neighbor classifier disingkat
KNN. Classifier ini ditandai dengan statistik nonparametrik dan mengasumsikan bahwa data tidak
memiliki parameter dan non-karakteristik dalam
strukturnya juga. Klasifikasi dilakukan berdasarkan
tingkat kesamaan antara pola sampel uji dan pola sampel
pelatihan dalam ruang fitur. Klasifikasi di sini didasarkan
pada penilaian dari tetangganya. Jika k = 1 maka sampel
diasumsikan mewakili kelas yang sama seperti dari
tetangga terdekat. Tujuannya adalah untuk melakukan
perbandingan vektor fitur kode sampel pengujian dari satu
vektor fitur dengan vektor fitur kandidat yang tersisa ini
sampel pengujian dengan bantuan teknik pengukuran
kemiripan baru[6].
Penulis memperkenalkan pengenalan ekspresi wajah
berdasarkan video lain. dalam tulisan ini, terinspirasi oleh
keberhasilan VLBP, penulis pertama menggabungkan
fitur LBP-TOP (yang juga bisa disebut disederhanakan
3D-LBP) dan fitur Gabor representasi untuk
menggambarkan f dinamis urutan ekspresi acial.
Kemudian SVM diadopsi untuk klasifikasi. Percobaan
pada diperpanjang Cohn-Kanade basis data (CK+)
3
JOIN (Jurnal Online Informatika)
ISSN 2527-1682 (Print)
ISSN 2527-9165 (Online)
menunjukkan kinerja yang menjanjikan dari metode
ini[5].
IV. HASIL
Dalam pengenalan gestur tubuh yang di
implementasikan
kedalam
smatrphone,
penulis
menerapkan teknologi HCI di perakitan virtual dalam
rekayasa. Banyak antarmuka atau rancangan yang dapat
membaca intruksi gerakan tubuh, seperti tangan, wajah,
dan gerakan yang dapat dikoneksikan kinerjanya kedalam
sebuah smartphone untuk tujuan tertentu, seperti halnya
keamanan sistem yang mudah di retas agar terjaga baik.
Seperti contoh nya pada gestur tangan, penulis
menggunakan sensor Kinect dari laboratorium untuk
mengumpulkan sampel yang dibutuhkan dalam
lingkungan worning normal lab. Lingkungan worning ini
hanya membutuhkan lingkungan dalam ruangan dengan
pencahayaan normal dan background kompleks[6][2].
Selain itu, wajah manusia memainkan peran yang
sangat penting dalam hari untuk komunikasi hari. Orang
berinteraksi menggunakan kedua kata verbal dan perilaku
non-verbal. ekspresi wajah dari frame kamera
smartphone, dirancang untuk mengenali emosi wajah
dalam situasi tertentu, teknik baru yang disebut Ekstrim
Jarang Belajar (ESL)[5]. Pendekatan ini menggabungkan
kekuatan diskriminatif Extreme Learning Machine (ELM)
dengan properti rekonstruksi representasi. kerangka ini
mampu mencapai state-of-the-art akurasi pengenalan pada
kedua bertindak dan spontan database emosi wajah[6].
Fitur-fitur ini kemudian diproses oleh algoritma
inferensi yang mengakui gerakan tangan tertentu, seperti
Model Hidden Markov (HMM)[1]. Hal ini sangat
representatif dalam aplikasi HCI. Oleh karena itu, tujuan
pengendalian akhir dari program kerjasama makalah ini
ini dibahas adalah sebagai berikut:
A. Gambaran Umum Sistem
1. Pengenalan Gestur menggunakan Data Glove
Tangan porsi pengakuan isyarat
didasarkan pada 5DT Data sarung tangan. Ia
mengakui isyarat dengan pengakuan gerakan
dinamis[7]. Menggunakan metode untuk
menemukan bingkai kunci, ia mencari
keadaan awal dan akhir dari setiap gerakan
tangan, yang melibatkan informasi dari posisi
dan sikap dari telapak tangan dan peregangan
informasi jari, dan sebagainya[7].
Gambar 2. Pengenalan alat pengenalan
gesture.
2.
3.
Gambar 3. Gerakan tangan awal dan
akhir dari perintah.
Gesture Taxonomy For Natural Interaction
Bagian ini memperkenalkan konsepkonsep penting dalam gerakan bagian tubuh,
yang merupakan dasar dari pemodelan sistem
ini[4]. Beberapa taksonomi isyarat telah
diusulkan dalam literatur salah satu gestur
yang tepat untuk HCI. Studi ini didasarkan
pada pengguna non-teknis saat berinteraksi
dengan sistem komputasi[3].
Bentuk Gestur
Gerakan tangan dimodelkan dengan
campuran HMM menggunakan spektral
clustering. Tangan klasifikasi bentuk dan
estimasi tangan kerangka didasarkan pada
hutan keputusan acak. Klasifikasi gerakan
tangan
aktif
sepanjang
waktu[1][4].
Kerangka kerja ini memperkirakan satu set
posteriors untuk label bentuk tangan di setiap
frame, dan terus menggunakan posteriors ini
dan vektor kecepatan observasi untuk
menemukan dan mengklasifikasikan gerakan
dikenal. Mereka membedakan gerakan
dengan gerakan murni dan bentuk tangan
murni dengan thresholding besarnya vektor
kecepatan.
Namun,
mereka
tidak
menyebutkan penanganan gerakan dengan
Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan
Kedalam Smartphone
(Zulfadli Sultan)
4
JOIN (Jurnal Online Informatika)
Volume 3 No. 1 | Januari 2018 : 1-2
DOI: 10.15575/join.v3i1.xxx
pose tangan yang berbeda tapi dengan
gerakan sewenang-wenang. Untuk jenis
gerakan, akan sulit untuk secara manual
menetapkan
batas
kecepatan
untuk
membedakan mereka dari gerakan dengan
jalur yang berbeda[3][8].
Gambar 4. Gambaran sistem.
4.
Tangan Deteksi dan Tracking
Kamera Senz3d menangkap frame
video RGB bersama dengan data yang
mendalam terkait. Thresholding berdasarkan
kedalaman dilakukan untuk menghapus latar
belakang. Kemudian segmentasi berdasarkan
data kedalaman dilakukan untuk objek
terdekat dengan kamera[9][10].
5.
Gesture Recognition
Gambar 5. Tangan bagian analisis
Table 1. Skeletons
Makalah dikirim: -
V. PENUTUP
Interaksi manusia dan komputer memiliki peran yang
sangat penting. Makalah ini disajikan dalam sebuah
pendekatan yang efisien untuk mempermudah pengguna
smartphone seperti halnya dalam bidang keamanan.
Tingkat keamanan sistem yang diperoleh dengan
menggunakan sistem pengenalan berbasis HMM. Di masa
yang akan datang, pekerjaan dapat dimodifikasi dan
ditingkatkan supaya lebih mudah yang jauh lebih baik.
Demikian pula sistem yang diusulkan dalam makalah ini
untuk pengenalan gesture tubuh manusia yang dirancang
menggunakan smartphone sebagai alat utama untuk
mengenali gestur berupa gerakan , seperti hal nya tangan,
wajah, dan juga memahami keadaan manusia dari segi
keamanan.
Metode yang diusulkan untuk real time dalam gestur
gerakan tangan menghasilkan hasil uji dengan akurasi dan
presisi tinggi dan dapat digunakan dunia nyata untuk
interaksi dengan komputer. Hal ini jauh lebih intuitif
untuk digunakan dibandingkan mouse dan dapat
mendeteksi jari akurat dan memiliki potensi besar untuk
perluasan ke aplikasi lain HCI. Kemudian, sistem
berbasis pengenalan wajah dan emosi menggunakan
metode yang berbeda dapat diterapkan dalam smartphone.
5
JOIN (Jurnal Online Informatika)
ISSN 2527-1682 (Print)
ISSN 2527-9165 (Online)
Program kerjasama dari banyak alat interaksi manusia dan
komputer bisa mencapai keandalan dan kenyamanan yang
lebih tinggi
VI. DAFTAR PUSTAKA
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
S. Saha, R. Lahiri, A. Konar, B. Banerjee, and A. K.
Nagar, “HMM-based gesture recognition system using
kinect sensor for improvised human-computer
interaction,” 2017 Int. Jt. Conf. Neural Networks, pp.
2776–2783, 2017.
P. Bao, A. I. Maqueda, C. R. Del-Blanco, and N.
Garciá, “Tiny hand gesture recognition without
localization via a deep convolutional network,” IEEE
Trans. Consum. Electron., vol. 63, no. 3, pp. 251–257,
2017.
F. Yang and H. Shi, “Research on Static Hand Gesture
Recognition Technology for Human Computer
Interaction System,” 2016 Int. Conf. Intell. Transp. Big
Data Smart City, pp. 459–463, 2016.
Z. H. Wang, J. T. Cao, J. G. Liu, and Z. Q. Zhao,
“Design of human-computer interaction control system
based on hand-gesture recognition,” Proc. - 2017 32nd
Youth Acad. Annu. Conf. Chinese Assoc. Autom. YAC
2017, pp. 143–147, 2017.
H. Salih and I. Lalit kulkarni, “Study of Video based
Facial Expression and Emotions Recognition
Methods,” pp. 692–696, 2017.
S. Kamal and M. Rafeeq, “Facial Emotion Recognition
for Human-Computer Interactions using hybrid feature
extraction technique,” 2016.
S. Heng and D. Yunfeng, “Research on Cooperative
Control of Human-Computer Interaction Tools with
High Recognition Rate Based on Neural Network,”
Proc. - 2014 Int. Conf. Virtual Real. Vis. ICVRV 2014,
pp. 350–354, 2015.
R. R. Itkarkar and A. V. Nandi, “A survey of 2D and
3D imaging used in hand gesture recognition for
human-computer interaction (HCI),” WIECON-ECE
2016 - 2016 IEEE Int. WIE Conf. Electr. Comput. Eng.,
no. December, pp. 188–193, 2017.
R. Agrawal and N. Gupta, “Real Time Hand Gesture
Recognition for Human Computer Interaction,” 2016
IEEE 6th Int. Conf. Adv. Comput., pp. 470–475, 2016.
Y. Yin and R. Davis, “Real-time continuous gesture
recognition for natural human-computer interaction,”
2014 IEEE Symp. Vis. Lang. Human-Centric Comput.,
pp. 113–120, 2014.
Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan
Kedalam Smartphone
(Zulfadli Sultan)
6