Virtual Reality dan Leap Motion dalam In

Virtual Reality dan Leap Motion dalam Interaksi
Manusia dan Komputer (IMK) serta Hubungannya
dengan Artificial Neural Network (ANN)

Disusun Oleh:
Nama

:

Rezkya Putri Septiani

Nim

:

13.7832

Kelas

:

4KS1

SEKOLAH TINGGI ILMU STATISTIK
JAKARTA, 2017

Latar Belakang

Teknologi telah menjadi sesuatu yang tidak bisa dilepaskan dari kehidupan
manusia saat ini, teknologi juga telah memegang peran penting di semua aspek
kehidupan. Dengan bantuan teknologi, kegiatan manusia akan lebih mudah
dikerjakan. Ketergantungan manusia terhadap teknologi membuat banyaknya
diciptakan teknologi baru yang lebih canggih. Perkembangan teknologi baru
tersebut perlahan-lahan telah banyak menggeser gaya hidup manusia. Hal tersebut
membuat manusia lebih banyak berinteraksi dengan teknologi/komputer daripada
kehidupan sosialnya. Pergeseran gaya hidup manusia kearah penggunaan
teknologi

secara

masif,

membuat

banyak

perusahaan

berlomba-lomba

menciptakan teknologi dengan desain UI (User Interface) yang eifisen, baik dan
mudah.

Hal ini mengakibatkan interaksi antara manusia dan komputer telah

menjadi bagian yang penting dalam kehidupan saat ini(Sharma, Chandra,
Venkatraman, Mittal, & Singh, 2015)
Desain UI yang efisien dan interaktif akan membuat pengguna komputer
merasakan pengalaman yang menyenangkan. Pengalaman menyenangkan dalam
menggunakan UI tersebut akan membuat seseorang ingin untuk terus menerus
menggunakan komputer/teknologi tersebut. Oleh karena itu, interaksi manusia dan

komputer yang alami misalnya hand gesture recognition, leap motion, virtual
reality merupakan suatu kebutuhan saat ini (Panwar & Singh Mehra, 2011).
Perkembangan

interaksi

manusia

dan

komputer

saat

ini

telah

dikombinasikan dengan ilmu Knowledge Discovery atau yang dikenal dengan
istilah (HCI-KDD). Keuntungan untuk menggabungkan kedua ilmu ini secara

bersamaan ialah agar menghasilkan user interface yang dapat mendukung
penggabungan antara kecerdasan manusia dengan kecerdasan mesin(Holzinger,
2013). Komputer memiliki sifat cepat, akurat, dan tidak sepintar manusia.
Sedangkan

manusia

bersifat

lambat,

tidak

akurat,

tapi

cerdas/brilian.

Penggabungan antara keduanya akan menghasilkan sesuatu yang powerful. Oleh

karena itu, kombinasi antar HCI dengan KDD (HCC-KDD) digunakan untuk
membuat komputer mengerti persepsi manusia.

Gambar 1. Interaksi antara Kecerdasan Manusia dan Mesin
Pengertian Virtual Reality(VR) dan Leap Motion
Perkembangan interaksi manusia dan komputer saat ini semakin pesat
dengan munculnya teknologi Virtual reality (VR) dan leap motion. Virtual reality
merupakan sebuah teknologi yang membuat user dapat berinteraksi dengan
lingkungan yang ada dalam dunia maya yang disimulasikan oleh komputer
sehingga user merasakan efek 3D seolah olah yang kita lihat berada di depan kita
(Sharma et al., 2015). Virtual reality dapat membuat user merasakan sensasi nyata
dari dunia nyata dari segi penglihatan, pendengaran, gerakan tangan, dan gerakan
kaki. Tidak hanya itu, virtual reality saat ini juga telah dikembangkan agar user
dapat merasakan sensasi virtual reality dengan menggunakan smartphone.
Perkembangan

virtual

reality

saat

ini

semakin

pesat

dengan

menggabungkan teknologi leap motion ke dalamnya. Leap motion merupakan alat
yang dapat membantu user mengendalikan hanya dengan gerakan tangan maupun
jari di udara. Teknologi leap motion ini dapat menggantikan fungsi keyboard dan
mouse. Dengan adanya leap motion pada VR ini pengguna bisa langsung melihat
kedua tangannya secara virtual dan utuh tanpa membutuhkan controller ekstra.
Setiap pergerakan tangan dapat dideteksi dengan baik sehingga pada akhirnya
dapat berlangsung jauh lebih alami. Hal ini merupakan salah satu penemuan
terbaik dalam interaksi manusia dan komputer.
Dalam perkembangan integrasi user interface antara VR dan leap motion
saat ini, cabang ilmu yang berkaitan ialah Artificial Neural Network (ANN).

Neural

Network

digunakan

untuk

pengenalan

pola

secara

real-time,

penggabungan informasi dari banyak sumber, clustering dan pemetaan data,
kontrol adaptif, dan membangun model sistem tanpa membutuhkan parameter

eksplisit atau spesifikasi persamaan model. Hubungan antara ANN dengan IMK

sangat erat terkait dalam hal menghasilkan UI yang interaktif, menghasilkan
umpan balik yang sesuai dengan cara kerja otak manusia. Fuzzy logic merupakan
salah satu cabang ANN yang sering digunakan untuk menciptakan model-model
adaptif untuk interaksi antara manusia dan komputer (Maren, 1991).
Virtual Reality dan Leap Motion pada Interaksi Manusia dan Komputer
Hubungan antara IMK dengan virtual reality dan leap motion sangat erat.
Hal ini terkait dengan masalah untuk menghasilkan user interface yang baik,
efisien, dan menyenangkan. Perkembangan teknologi VR dan leap motion
membuat banyak orang mengerti akan pentingnya user interface dalam kemajuan
suatu teknologi. VR dan leap motion membuat user masuk ke dalam sensasi nyata
dunia maya secara 3D dan dapat berinteraksi dengan komputer selayaknya
manusia.
Untuk mewujudkan suasana yang menyerupai dunia nyata, virtual reality
menggunakan peralatan-peralatan yang dinamakan glove(leap motion), headset,
dan walker.


Leap Motion adalah peranti masukan yang dapat menangkap gerakan
tangan dan mengirimkan informasi gerakan ke sistem virtual reality.



Setiap pergerakan tangan akan dapat dideteksi dengan baik.
Headset adalah peranti yang berfungsi untuk memonitor gerakan kepala.
Selain itu, peranti inilah yang memberikan pandangan lingkungan yang



semu kepada pemakai sehingga seolah-olah pemakai melihat dunia nyata.
Walker adalah peralatan yang dimaksudkan untuk memantau gerakan
kaki. Peralatan ini dapat digunakan untuk mengatur kaki pemakai agar
merasakan beban seperti kalau melangkah dalam dunia nyata. Sebagai
contoh, kaki akan terasa berat untuk melangkah ketika pemakai sedang
menghadapi dunia semu berupa rawa atau medan berlumpur.

Aplikasi – Aplikasi pada Virtual Reality dengan menggunakan teknologi Leap
Motion dan hubungannya dengan Artificial Neural Network dalam Interaksi
Manusia dan Komputer (IMK)

Pada dasarnya, data mining khususnya ANN membuat Virtual Reality

(VR) menjadi alat yang sangat kompeten untuk memvisualisasikan data dalam
Interaksi Manusia dan Komputer (IMK). Seperti yang telah dijelaskan
sebelumnya, dalam membuat sebuah user interface yang canggih, diperlukan
integrasi ilmu HCI-KDD (Human Computer Interaction – Knowledge Discovey).
Salah satu implementasi integrasi HCI-KDD ini ialah virtual reality dan leap
motion. Berikut aplikasi pada Virtual reality yang menggunakan teknologi Leap
Motion:


Ekspresi Wajah
Ekspresi wajah merupakan salah satu komponen komunikasi nonverbal

yang dapat membawa banyak informasi. Ini menunjukkan keadaan emosional
seseorang dan membantu dalam mengartikan perilaku manusia. ANN dalam
hubungannya dengan VR digunakan untuk mengidentifikasi rincian pengguna
melalui internet. Hal ini dicapai melalui algoritma backpropagation yang melatih
ANN dengan memperhatikan konteks pengguna audio, video dan input gambar.
Dalam konteks ini, beberapa makalah berusaha menggunakan ANN di VR untuk
mewujudkan ekspresi wajah untuk melatih subjek dengan beberapa pendekatan
yaitu Autism Spectrum Disorder (ASD) yang terdapat pada gambar 2, Attention

Deficit Hyperactivity Disorder (ADHD), dan Schizophrenia. Misalnya, untuk
mengidentifikasi

wajah

statis

dalam

ekspresi

yang

berbeda

dilakukan

perbandingan antara Jaringan Konvolusional (CN) dan multilayer perceptron
(MLP).

Gambar 2. Pengenalan Ekspresi Wajah pada VR menggunakan ANN


Human Body Tracking (Pelacakan Tubuh Manusia)
Human body tracking menemukan relevansi untuk kebanyakan aplikasi di

berbagai bidang dari peningkatan kognitif untuk olahraga hingga rehabilitasi. Ada
beberapa pendekatan ANN untuk melacak siluet tubuh manusia (Goffredo et al.,
2006), misalnya algoritma Snake (Active Contour Model) di kombinasi dengan
ANN (Resilient BP) menggunakan segmentasi dan kontur metode untuk melacak
lengan manusia. Di sini, ANN bertindak sebagai prediktor yang meningkatkan
akurasi yang gerakan lengan dilacak. Kecepatan dan percepatan setiap titik kontur
yang diambil sebagai input ANN, sedangkan output ANN bertindak sebagai
masukan untuk SNAKE. Seiring dengan kemajuan dalam algoritma akan mungkin
untuk membuat sistem pengenalan tindakan dengan melacak tubuh manusia
dengan Kinect (Mart ınez­Zarzuela   et   al.,   2014). ANN dalam perannya tidak
hanya dalam pelacakan tubuh Manusia, tetapi juga di bidang pelacakan tangan
dengan menggunakan gloves dan deteksi kaki. Selain itu, terdapat juga teknologi
leap motion sebagai peranti masukan yang dapat menangkap gerakan tangan dan
mengirimkan informasi gerakan ke sistem virtual reality.



Face Detection/tracking (Pelacakan Wajah)
Pelacakan wajah selalu menimbulkan masalah di VR karena tergantung

pada orientasi wajah dan pendaran lingkungan. Selain itu, deteksi wajah juga
menjadi menantang ketika sensor atau kabel dihubungkan ke Virtual Environment
(VE). Dalam kondisi seperti itu, VR membutuhkan frame rate pelacakan tinggi
dengan latency rendah untuk mendeteksi wajah. Selanjutnya, algoritma pelatihan
harus dilatih atas dasar beberapa wajah di muka. Fase belajar ini membutuhkan
waktu (Rowley et al., 1998). Oleh karena itu, kebutuhan untuk algoritma pelatihan
cerdas yang dapat membedakan antara wajah dan non wajah muncul (S.Shah et
al., 2013). Sebagian besar peneliti menggunakan kembali algoritma pelatihan
propagation dengan eigen wajah atau filter Fourier gabor filter atau Fourier gabor
dengan proyeksi acak atau algoritma genetika (Kashem et al.,2011). Keuntungan
dengan BP adalah bahwa hal itu dapat membedakan antara wajah dan non wajah
dengan mudah. Algoritma BP lebih disukai daripada algoritma neural network
lainnya karena kemampuannya yang unik untuk meminimalkan kesalahan dan
akurasi yang lebih tinggi (Chaundhary et al., 2012).
 Visualization
Data mining membuat VR menjadi alat yang sangat kompeten untuk
memvisualisasikan data dalam Interaksi Manusia dan Komputer (IMK). Pengguna
dapat berinteraksi dengan data dan memahami potensi tersembunyi dari data
secara efektif. Pengguna juga dapat memanipulasi data secara dinamis dan
mentransfer ke platform lainnya. Beberapa teknik seperti clustering ANN dapat
mengurangi jumlah dimensi dan sangat bermanfaat untuk sistem yang efisien. NN
digunakan sebagai fungsi pemetaan ruang untuk menghasilkan ruang VR kualitas
tinggi. Data dan simbolik representasi pengetahuan dalam ruang virtual dapat
dilakukan dengan menggunakan Samann dan Nonlinear Discriminate Networks
untuk pemetaan supervised dan unsupervised ke feature spaces berdimensi rendah
(Valdes et al., 2012).

 Speech Recognition atau Synthesize Voice
Real time speech dengan ekspresi sangat baik dalam menciptakan virtual
environment karena membantu dalam pemahaman persepsi emosional manusia

melalui penggunaan avatar virtual. ANN MLP digunakan untuk wajah tanpa
ekspresi dan wajah yang mengandung ekspresi. Mel Frequency Cepstrum
Coefficient (MFCC) adalah vektor fitur audio yang diambil sebagai input dalam
MLP. MLP melakukan train audio untuk pemetaan visual dan menggunakan tiga
layer perceptron dengan 25 hidden layer (Hong et al., 2002).
 Walkthrough atau Navigasi
ANN memainkan peran penting dalam memprediksi jumlah jalur pada
virtual navigasi. Teknik ini menggunakan penggabungan antara ANN dan Model
Titik Distribusi. Model ini menggambarkan jumlah jalur yang diambil oleh ANN
sebagai input. Output disediakan dalam bentuk kemungkinan jalur maksimum
untuk seleksi jalur yang diinginkan. Hal tersebut sangat membantu dalam
merancang walkthrough dan dalam memprediksi pengguna bergerak di Virtual
Environtment (VE) (Courtney et al., 2013).
 Animation
Animasi melibatkan interaksi dari gerakan avatar, penampilan objek
virtual dan variasi kontras. ANN digunakan dalam pembentukan animasi ini. ANN
meningkatkan kontras virtual environtment dengan menggunakan HMD. HMD
Menggunakan MLP dengan aktivasi sigmoid logistik dan dilatih dengan metode
gradien konjugat yang diperkecil dan ANN classifier dalam kerangka model
Markov Field Model (Everingham et al., 2003). Pengalaman visual dapat
ditinggikan untuk membuat VR lebih mendalam. Teknik ini dapat menjadi
bantuan mobilitas untuk orang dengan gangguan visual yang parah. Orang-orang
akan bisa mengidentifikasi objek dari gambar yang ditampilkan. Hal ini
dimungkinkan untuk menghidupkan avatar manusia dalam VR menggunakan NN.



Kontroler Karakter Virtual
ANN dapat bertindak sebagai kontroler dalam virtual reality dengan

memegang hukum energi dan fisika. ANN digunakan untuk menghitung
deformasi struktural objek dalam lingkungan virtual (Hambli et al., 2006).
Controller juga dapat memungkinkan untuk memberikan perintah ke karakter
virtual seperti berbelok ke kiri, belok kanan, berjalan, dll dengan menggunakan
kontroler. Dalam salah satu pendekatan digunakan tiga jenis karakter virtual yaitu

monoped (berkaki satu), biped (berkaki dua) dan quadruped (berkaki empat)
(Marks et al., 2006). ANN memproses informasi sensorik dari tubuh dan dari
lingkungan karakter virtual dan memberikan informasi kontroler sebagai output
ke aktor. Aksi motor dikontrol oleh umpan balik sensoris dari karakter virtual.
Untuk menghasilkan perilaku dalam karakter virtual digunakan Continuous Time
Recurrent Neural Network (CTRNN). CTRNN Menggunakan model plastisitas
otak untuk melakukan proses learning dari lingkungan (Nogueira et al., 2013).

Daftar Pustaka
[1]   Chaudhary,   U,   dkk.   2012.  Face   recognition   using   pca­bpnn   algorithm.
International Journal of Modern Engineering Re­ search (IJMER), vol. 2, pp.
1366–1370.
[2] Courtney,   C.   G.   2013.  Predicting   navigation   performance   with
psychophysiological responses to threat in a  virtual environment in Virtual
Augmented and Mixed Reality. Designing and Devel­ oping Augmented and
Virtual Environments, pp. 129–138, Springer.
[3]  Everingham, M, dkk. 2003. Wearable mobility aid for low vision using scene
classification in a markov random field model framework.  Inter­ national
Journal of Human­Computer Interaction, vol. 15, no. 2, pp. 231–244.
[4]  Goffredo,   M.   2006.   A   neural   approach  to   the   tracking   of  human   body
silhouette in Proceedings of the first international conference on signal and
image processing.

[5]  Hambli, R. 2006. Real­time deformation of structure using finite element and
neural networks in virtual reality applications.  Finite elements in analysis
and design, vol. 42, no. 11, pp. 985–991.
[6]  Holzinger, A. 2013. Human – Computer Interaction and Knowledge
Discovery ( HCI-KDD ): What Is the Benefit of Bringing Those Two Fields
to Work Together ?, 319–328.
[7]  Hong,   P,   dkk.   2002.  Real­time   speech­driven   face   animation   with
expressions using neural networks. Neural Networks, IEEE Transactions on,
vol. 13, no. 4, pp. 916–927, 2002. 
[8]   Kashem,   M.   A,   dkk.   2011.  Face   recognition   system   based   on   principal
component   analysis   (pca)   with   back   propagation   neural   networks   (bpnn),
Canadian Journal on Image Processing and Computer Vision, vol. 2, no. 4,
pp. 36–45.
[9]  M. Martınez­Zarzuela, dkk. 2014 Action recognition system based on human
body   tracking   with   depth   images.  Advances   in   Computer   Science:   an
International Journal, vol. 3, no. 1, pp. 115–123.
[10] Maren, A. J. 1991. Neural Networks for Enhanced Human-Computer
Interactions. IEEE Control Systems, 11(5), 34–36.
[11] Marks, S. 2006. Evolving autonomous locomo­ tion of virtual characters in a
simulated   physical   environment   via   neural   networks   and   evolutionary
strategies in Proceedings of the Ninth International Conference on Computer
Graphics and Artificial Intelligence.

[12]   Nogueira,   B.   2013.  Emergence   of   autonomous   behaviors   of   virtual
characters   through   simulated   reproduction  in  Advances   in   Artificial   Life,
ECAL, vol. 12, pp. 750–757.
[13]  Panwar, M., & Singh Mehra, P. 2011. Hand gesture recognition for human
computer interaction, 2(2), 48–50.
[14] Rowley, H. A, dkk. 1998.  Neural network­based face detection,  Pat­ tern
Analysis and Machine Intelligence, IEEE Transactions on, vol. 20, no. 1, pp.
23– 38.
[15] Shah, S. 2013. Analytical study of face recognition techniques.
[16]  Sharma, G., Chandra, S., Venkatraman, S., Mittal, A., & Singh, V. 2015.
Artificial Neural Network in Virtual Reality : A Survey. International
Journal of Virtual Reality, 15(2), 44–52.

[17]   Valde,   J.   2002.  Virtual   reality   representation   of   relational   systems   and
decision   rules:   an   exploratory   tool   for   understanding   data   structure  in
Theory and application of re­ lational structures as knowledge instruments.
Meeting of the COST action, vol. 274, pp. 14–16.