23
3.4 Instrumen Penelitian
Penelitian ini menggunakan perangkat berikut: 1.
Laptop ASUS N43S, Intel Core I5, RAM 4 GBytes, Harddisk 750 GBytes, Windows 7 64 bit.
2. Python 2.66, SciPy, Image, PyGame, Numpy
3. Dataset Multi-modal Gesture Recognition 2013, dataset ini diperuntukkan untuk
riset, penggunaannya tidak memerlukan izin khusus, hanya menambahkan Escalera et.al 2013 pada referensi.
Universitas Sumatera Utara
4.1 Pendahuluan
Pengujian hasil pertam memberikan hasil akhi
gambar gerak isyarat. backpropagation.
4.2 Layar Sentuh Vir
Gambar 4.1 memperlih merah dan hijau sebaga
Selain data gera yang merepresentasika
menggambarkan jarak dilakukan.
BAB IV
HASIL DAN PEMBAHASAN
tama dicoba pada aplikasi layar sentuh virtua hir berupa data teks yang berisi data koordinat
rat. Setelah itu pengujian dilanjutkan terha
Virtual
rlihatkan cuplikan gerak isyarat “chevuoi”, gam agai pembeda tangan kanan dan kiri.
Gambar 4.1 Layar sentuh virtual”chevuoi” erakan dilihat dari sisi depan partisipan, terdapa
ikan gerakan bila dilihat dari sisi kiri dan k ak tangan kiri dan kanan dari HipCenter selam
rtual, layar sentuh dapat at gerak isyarat dan data
rhadap neural network
gambaran garis berwarna
apat juga layar tambahan kanan partisipan yang
lama urutan gerak isyarat
Universitas Sumatera Utara
Gambar 4.2 m sudah memenuhi spesif
Dari ujicoba dite virtual mengalami dist
kiri dan ke kanan pad dan ke belakang tidak
membuat posisi layar s posisi pergerakan pa
menyesuaikan posisi HipCenter. Hasil akhir
terdistorsi karena pe memperlihatkan hasil
partisipan.
25
menunjukkan gerak isyarat “basta”. Dari sisi esifikasi yang diinginkan pada bab sebelumnya.
Gambar 4.2 Layar sentuh virtual ”basta” ditemukan beberapa data `gerakan yang tergam
istorsi. Distorsi ini disebabkan oleh perpindaha ada saat gerak isyarat dilakukan. Perpindahan
dak mendistorsi data. Solusi untuk distorsi da r sentuh menjadi lebih dinamis, berpindah sesu
partisipan ke kanan dan ke kiri. Hal in i koordinat kiri atas layar berpindah sesuai
hirnya terlihat seperti gambar 4.3, sebelah kir pergerakan partisipan ke arah kiri. Gam
sil saat posisi layar virtual telah disesuaika
25
isi aplikasi layar sentuh ya.
ambar pada layar sentuh ahan posisi partisipan ke
an pergerakan ke depan i data ini adalah dengan
suai dengan perpindahan ini dilakukan dengan
ai perpindahan skeleton kiri gambar terlihat data
ambar sebelah kanan ikan dengan pergerakan
Universitas Sumatera Utara
Sampai dengan namun masih harus di
35x60. Hal ini dilaku seragam dan kecil seh
.4.4 memperlihatkan po
26
Gambar 4.3 Mengatasi distorsi data an keadaan ini, data koordinat untuk gerak is
dilakukan penyesuaian bentuk data menjadi p kukan agar data koordinat yang dihasilkan m
ehingga mempercepat proses pembelajaran ne pola matriks pada gerakan “BASTA”.
Gambar 4.4 Gerak isyarat pola matriks
26
isyarat sudah diperoleh, i pola matriks berukuran
memiliki ukuran yang neural network. Gambar
Universitas Sumatera Utara
Koordinat-koor disalin menjadi file d
merupakan representas
Gambar 4.5 Pe
File teks yan pembentukan pola pe
gambar data di dalam f Format teks ya
gerakan berisi 3 basris dengan nama sisi tanga
berurut sampai akhir ba
27
ordinat matriks yang berisi nilai sesuai uru e data teks, termasuk data layar tambahan
tasi bentuk data 3D.
Penggalan isi data file teks untuk gerak isyarat
ang dihasilkan berisi data koordinat yan pembelajaran dan pengujian, gambar 4.5 m
file teks pertama untuk gerak isyarat “VIENIQ yang terdapat pada file hasil dari aplikasi laya
ris teks, baris pertama adalah nama jenis geraka ngan misalnya ‘Kanan’ dilanjutkan dengan nila
r baris, seperti yang terlihat pada gambar 4.6.
x
Jenis Gerak Isyarat
z
Tangan
y
Gambar 4.6 Detail isi teks 27
rutan gerak selanjutnya n kiri dan kanan yang
rat ”VIENIQUI”
ang dibutuhkan untuk menunjukkan cuplikan
IQUI”: layar sentuh untuk setiap
kan, baris kedua dimulai ilai koordinat x, y dan z
Universitas Sumatera Utara
28
28
Dari data teks yang dihasilkan oleh aplikasi layar sentuh virtual, dilakukan proses perubahan menjadi data gambar sesuai kebutuhan pelatihan dan pengujian neural
network. Teknik yang digunakan adalah dengan membaca format teks ke dalam list di memori, dilanjutkan dengan pembersihan duplikasi data. Duplikasi data sering terjadi saat
pencuplikan data dilakukan, hal ini disebabkan oleh posisi tangan pada frame berjalan masih di koordinat yang sama dengan posisi tangan pada frame sebelumnya.
Gambar 4.7 Duplikasi data Setelah data pada list bersih dari duplikasi, dilakukan proses pengisian pixel yang kosong
di antara 2 koordinat dengan cara membangun list baru hasil pemrosesan list sebelumnya menggunakan algoritma Bresenham. Hasil list selanjutnya dikonversi menjadi gambar
berukuran 35x60 yang merepresentasikan urutan gerak isyarat sejak awal hingga akhir gerakan. Diagram proses konversi dari data teks menjadi gambar dapat dilihat pada
gambar 4.8.
Gambar 4.8 Proses mengubah data teks menjadi file gambar
Universitas Sumatera Utara
29
29
Dengan selesainya pembuatan gambar gerak isyarat ini, maka proses pembelajaran neural network backpropagation dapat dimulai. Gambar 4.9 menunjukkan
contoh hasil penggambaran dari gerak isyarat “BASTA” yang berjumlah 20 gerakan.
BASTA
Gambar 4.9 Sekumpulan data gambar untuk gerak isyarat “BASTA”
4.3 Pengujian Neural Network