PENERAPAN TEKNOLOGI SOUND AND VISUAL TRACKING PADA KINECT SEBAGAI SISTEM KEAMANAN IDENTIFIKASI USER ACCOUNT

PENERAPAN TEKNOLOGI SOUND AND VISUAL

TRACKING PADA KINECT SEBAGAI SISTEM KEAMANAN

Sukhairi

Magister Teknologi Informasi, UGM / Sleman, DIY

Kontak Person:

Sukhairi

Jalan Garboruci, Wahid Hasim, Depok Sleman Yogyakarta, Kode Kota Telp: 08984483222, E-mail: sukhairi.mti.17a@mail.ugm.ac.id

Abstrak

Penelitian ini, menggunakan teknik sound and visual tracking yang dimiliki oleh perangkat

Kinect yaitu kemampuan pengenalan ucapan, dimana sebuah komputer dapat menerima masukan kata

yang diucapkan oleh user dan mengenali keberadaan manusia dengan menggunakan model human

skeleton yang berdasarkan proses pengolahan citra depth data. Hasil akhir dari penelitian,

membuktikan perangkat Kinect dengan fungsi-fungsi yang dimiliki dapat meningkatkan keamanan

dari user account terutama masalah identifikasi keberadaan seseorang, cara kerja dengan mengelola

informasi mengenai pendeteksian citra manusia dan kemampuan pengenalan suara dari user,

sehingga dapat melakukan pencegahan dan pengawasan penggunaan aplikasi pada komputer.

Dengan adanya sistem ini, komputer mengharuskan keberadaan seseorang user dalam mengakses

aplikasi dan data pada komputer dengan begitu membantu seorang admin mendapatkan informasi

seseorang user sudah melakukan log in.

Kata kunci: Teknologi, Sound, Visual, Tracking, Kinect Pendahuluan

Teknologi Kinect berasal dari teknologi perangkat lunak yang dikembangkan secara internal oleh Rare, anak perusahaan dari Microsoft Game Studios milik Microsoft, dan teknologi kamera oleh perusahaan PrimeSense. Mereka mengembangkan sistem yang dapat mengimplementasikan gerakan secara spesifik, sehingga kontrol secara hands-free dapat dilakukan pada perangkat elektronik menggunakan proyektor infrared dan kamera, serta microchip khusus untuk melacak pergerakan objek dan individu pada bidang tiga dimensi. Sistem 3D scanner tersebut dinamakan Light Coding yang menggunakan variasi dari rekonstruksi gambar 3D.

Sensor Kinect adalah sebuah alat berbentuk batang horizontal yang terhubung dengan alas kecil yang memiliki poros yang dapat berputar dan penempatan sensor Kinect berada di atas televisi. Perangkat ini memiliki kamera RGB, sensor kedalaman, sensor Infrared dan mikrofon yang berjalan di perangkat software khusus, yang menyediakan kemampuan untuk menangkap gerak secara 3D, mengenali wajah dan mengenali suara.

Penelitian perancangan sistem keamanan identifikasi user account menggunakan kerangka kerja perpustakaan Kinect for Windows SDK dengan memiliki manfaat antara lain: membantu dan mempermudah kerja sistem keamanan komputer menjadi lebih akurat, Menghemat biaya yang dikeluarkan untuk membeli perangkat keamanan karena dapat memanfaatkan perangkat Kinect for

XBOX dan menguji kemampuannya sebagai sistem kamera mata-mata, tanpa diketahui dan tidak

terpikirkan sebagai kamera. Pemanfaatan teknologi dalam Kinect bertujuan untuk: Mengenal kinerja teknologi sound and visual tracking sebagai fungsi security dan menguji keunggulan teknologi ini dalam mengenal gerakan dan suara manusia di bidang keamanan komputer sehingga berperan penting pada perkembangan sistem keamanan komputer yang telah ada menjadi lebih baik lagi.

Sensor IR Depth merupakan bagian fital dalam proses visual tracking. Pemanfaatan dari sensor

IR Depth sebenarnya telah diimplementasikan pada aplikasi industri dalam pengendalian produksi dan pengukuran volume dengan akurasi yang sangat baik. Sistem kerja sensor ini dalam melakukan pencitraan 3D dikenal dengan teknik teknik structured-light 3D scanning, teknik ini membutuhkan sebuah stripe projector dan matrix camera untuk menghasilkan pola light stripe. Pada proses visual tracking dalam kerangka kerja perpustakaan Kinect for Windows SDK perangkat Kinect mampu mengenali 25 joint point atau titik penghubung antar persendian untuk membangun pengenalan bentuk

human skeleton atau rangka tubuh manusia dengan begitu memungkin terjadi titik penandaan pada

saat menjalakan proses visual tracking.

Gambar 1. Prinsip kerja structured-light 3D

Perangkat Kinect juga memiliki empat buah mikrofon yang berfungsi sebagai sensor suara, tiga buah mikrofon berada sebelah kiri dan satu buah mikrofon berada sebelah kanan. Penempatan mikrofon tersebut dengan tata letak yang berbeda agar dapat mengetahui hal-hal sebagai berikut: a.

Mengetahui sumber suara berasal.

Mengetahui perbedaan interval waktu suara yang datang.

Mengetahui arah dari suara yang masuk kedalam Kinect _{APPLICATIONS SYSTEM}

KERNEL SYSTEM _HARDWARE (2)

(3)

Gambar 2. Bentuk Tampilan Sensor Kinect

Gambar 3. Diagram Arsitektur Sistem Aplikasi

Arsitektur sistem aplikasi keamanan user account dalam kerangka kerja perpustakaan Kinect for

Windows SDK memberikan pengetahuan secara keseluruhan, ada tiga bagian yang berperan penting

sebagai berikut.

Hardware Kinect Perangkat Kinect secara wujud terdiri dari sensor kamera, Audio Mic Array, Motor, 3-Axis Accelerometer, AC Adapter dan USB Hub. Pada kamera pada Kinect mempunyai sensor IR Depth, IR Emiter, bertugas untuk menghasilkan data depth image sedangkan sensor Color Camera menghasilkan citra warna. Agar perangkat Kinect dapat menangkap suara berdasarkan arah sumber suara maka dibutuhkan empat buah Audio Mic Array sehingga menghasilkan data audio stream. Pada Motor, 3-Axis Accelerometer membantu menggerakan perangkat Kinect secara horizontal atau naik-turun.

Kernel System Dalam kernel system terjadi identifikasi driver windows untuk Kinect pada bagian proses pemasangan instalasi dari Kinect for Windows SDK dan dukungan driver Kinect lainnya, seperti bagian kernel-mode audio device yang dapat diakses melalui standar Audio APIs pada windows, pengaturan audio dan video Streaming berupa color, depth dan skeleton.

Application System.

Bagian ini terdiri dari NUI API merupakan komponen vital dalam mengelola audio dan video untuk membangun sebuah aplikasi natural user interface yang berguna untuk menghubungkan dengan fitur skeleton tracking, audio, color dan depth imaging. Bagian DMO codec array for Mic

Array berperan untuk menentukan arah sumber suara berada berdasarkan perbedaan antar sensor

mikrofon, sedangkan Windows Core Audio and Speech APIs berperan dalam mengenali suara berupa ucapan suara atau percakapan (grammar).

Gambar 4. Sistem Kerja Identifikasi Perangkat Kinect

Pada gambar 4 dapat diketahui bahwa pada saat seorang user ingin melakukan log in maka menu log in akan terproteksi, sistem ini mengharuskan perangkat Kinect bener-benar terhubung sehingga dapat meneruskan proses identifikasi citra dan suara, jika sistem mengecek tidak terhubungnya perangkat Kinect dengan komputer maka sistem akan menjalankan instruksi log off. Pada aplikasi identifikasi menghasikan keluaran berupa capture gambar dan rekaman suara user pada saat log in. Dalam tahapan analisis, penulis menggunakan pendekatan eksperimental, dimana masing-masing pengujian aplikasi dapat dijelaskan sebagai berikut: a.

Pendeteksian Perangkat Kinect Sebelum sistem operasi windows dapat mengenal keberadaan dari device Kinect perlunya terlebih dahulu menginstalasi Kinect for Windows SDK, selain berisikan driver di dalam SDK perpustakaan pendukung untuk pengembang aplikasi. Pada aplikasi ini akan melakukan pengecekan data masukkan berupa perangkat Kinect, aplikasi akan melakukan proteksi ketika perangkat Kinect tidak terhubung pada komputer maka program menjalankan perintah log off sistem operasi secara otomatis.

Proteksi Sistem Aplikasi Sistem aplikasi akan melakukan pengamanan yang mengharuskan setiap user mengikuti prosedur-prosedur penggunaan aplikasi keamanan menggunakan perangkat Kinect. Adapun pengaman yang dilakukan menonaktifkan tombol klik kanan pada mouse, menghilangkan icon di desktop, menu start, taskbar dan beberapa pengaturan pada registry sistem operasi.

Pendeteksian User Activity Aktivitas gerakan yang dikenali sebagai manusia akan dideteksi namun jika benda biasa yang bergerak maka aplikasi tidak akan menampilkan gambar apapun pada menu tampilan dan akan menonaktifkan sebagian program aplikasi, dengan begitu dapat mencegah program lain berjalan dengan sendirinya.

Penyimpanan Data User Adapun cara data user disimpan sebagai berikut: 1.

Penyimpanan Gambar Proses penyimpanan gambar user berdasarkan hasil per-frame dari tampilan video oleh sensor RGB camera perangkat Kinect. Resolusi citra yang dihasilkan masih VGA yaitu 640 x 480 pixel. Setiap kali terjadi capture gambar, rata-rata berlangsung selama 0,5 detik dan membutuhkan kapasitas memori antara 60 KB sampai dengan 70 KB memori data dan citra yang dihasilkan berupa format “Jpg”.

2. Penyimpanan Suara

Perekaman ini memiliki kapasitas memori 40KB/s hingga 60KB/s. hasil rekaman didapat dari empat buah mikrofon dengan masing-masing tiap mikrofon memproses 16-bit audio pada besar sampling rate 16-kHz.

Aktivasi Akses Sistem Aplikasi Ketika identifikasi visual dan suara manusia telah sukses, program akan membuka menu log in.

Metode Penelitian

Metode penelitian yang diterapkan dalam penelitian ini adalah:

a. Metode Literatur Studi pustaka ini, dilakukan untuk menambah pengetahuan dengan literature atau bahan- bahan teori baik berupa buku dan data dari internet.

Metode Perancangan dan Pembuatan Sistem aplikasi Perancangan dan pembuatan sistem meliputi perancangan serta pembuatan sistem perlindungan dan keamanan komputer serta pemasangan pada perangkat Kinect dengan computer dan alat-alat maupun instalasi perangkat lunak dibutuhkan dalam sistem.

c. Metode Pengujian Pengujian dilakukan untuk mengetahui sistem apakah telah sesuai atau belum. Pengujian sistem mencoba menjalankan kinerja dengan menerapkan Kinect sebagai sistem perlindungan dan keamanan komputer lalu mengoreksi bila terjadi kesalahan.

Metode Analisis Analisis sistem perlindungan dan keamanan untuk mendapatkan informasi berupa keakuratan dalam pengenalan dan identifikasi, berdasarkan pada pengujian sistem pada perangkat Kinect dengan sistem secara keseluruhan.

Hasil Penelitian dan Pembahasan Pengujian Visual Tracking 1.

Pengujian natural user interface (NUI).

Natural user interface merupakan interaksi manusia dengan komputer yang bersifat fisik manusia berupa sentuhan maupun gerakan tangan. Pada sistem aplikasi yang dibuat penulis interaksi gerakan berdasarkan rangka tubuh manusia dalam membatasi penggunaan akses dari komputer. Agar aplikasi dapat bekerja baik dan mengetahui jalan kerja deteksi gerakan berdasarkan rangka tubuh manusia, dibutuhkan beberapa pengujian dasar kinerja aplikasi NUI. Adapun pengujian aplikasi natural user interface sebagai berikut: i.

User tidak berada ditempat.

Pada tahap ini aplikasi berjalan baik, dimana aplikasi tidak menampilkan gambar apapun dan beberapa menu tidak aktif kecuali menu untuk koneksi perangkat Kinect. ii.

User berdiri, berada dan diam Ketika aplikasi berjalan ketika user berdiri tepat di hadapan perangkat Kinect, sekitar 1-3 detik aplikasi akan menampilkan gambar user dan menu log in akan segera aktif. Pada keadaan ini aplikasi masih bisa mengenali user. iii.

User berdiri, berada dan bergerak Aplikasi memberikan respons lebih cepat dibandingkan user keadaan diam, hasil yang didapat sangat baik dan dapat mengaktifkan menu log in. iv.

User duduk, berada dan diam Saat keadaan user duduk dan diam, aplikasi mengalami kendala pendeteksian karena tidak mengetahui kehadiran user, terjadi ketika kondisi user diam dengan tangan lurus ke bawah, sedangkan tangan lebih membentangkan dan berada di atas meja maka aplikasi dapat mengenali citra manusia dengan begitu aplikasi bisa berjalan sebagaimana mestinya. v.

User duduk, berada dan bergerak Pengujian pada saat duduk dengan melakukan beberapa gerakan pada tangan aplikasi pendeteksian dapat mengenali citra manusia dan membentuk suatu pola rangka manusia seperti di jelaskan pada gambar 5, berdasarkan gambar tersebut posisi berdiri merupakan saat ideal untuk melakukan pendeteksian karena semua titik penghubung persendian dikenali dengan baik sedangkan posisi duduk titik penghubung persendian dari tulang belakang hingga ke kaki sulit dikenali, penyebabnya utama citra manusia yang ditangkap oleh sensor depth

image sebagian terhalang oleh meja akan tetapi aplikasi identifikasi masih bisa mengenali user dengan aktif menu log in dan tertampil gambar user di aplikasi.

Gambar 5. Hasil Citra Depth dalam Pembentukan Rangka Tubuh Manusia 2.

Pengujian gangguan pendeteksian.

Pada pengujian ini berusaha untuk mengetahui hambatan dan batasan dari luar terhadap menurunnya proses pendeteksian seorang user. i.

Pengujian gangguan terhadap aksesoris dan pakaian user.

Gambar 6. Grafik Penggunaan Aksesori dan Pakaian User

Hasil data grafik yang diperoleh berupa gangguan terhadap citra rangka tubuh manusia yang berpengaruh terhadap titik-titik penghubung antar persendian. Pada penggunaan topi, kaca mata, dan sepatu pada titik penghubung persendian yang berjumlah dua puluh titik tidak mengalami penurunan maupun kesalahan dalam mengenali bagian-bagian antar sendi. Sedangkan penggunaan pakaian mukena oleh user memiliki tingkat kesalahan yang paling cukup besar, sebanyak lima belas titik penghubung persendian tidak berhasil mengenali bagian-bagian antar persendian, dengan begitu pakaian mukena sebaiknya dihindari ketika menjalakan aplikasi identifikasi user. ii.

Pengujian terhadap gangguan terhadap sensor.

Tabel 1. Gangguan yang Diterima Sensor Kinect

Gangguan sensor Sensor Sensor RGB Depth 100% 100 %

Penerangan Terang Penerangan Sedang 50% 100%

10% 100% Penerangan Gelap Sinar Matahari 100% 50%

80% 85% Asap Debu 90% 95%

100% 90% Kaca Bening _{Keterangan : >80% Baik} Kaca Gelap 50% 70% _{>50 % Kurang Baik} _{> 0 % Tidak Baik} _{>60% Cukup}

Pengujian pada tabel 1, membuktikan bahwa hasil citra yang ditangkap oleh sensor RGB sangat berpengaruh kepada intensitas cahaya, semakin terang hasil sensor RGB semakin baik sedangkan sensor depth pada perangkat Kinect hasil citra berpengaruh terhadap sinar matahari, karena sensor depth bekerja menggunakan sinar infrared, pengaruh ini terjadi disebabkan intervensi dari infrared dari sinar matahari, sebesar 80% sinar matahari adalah sinar infrared dengan lebar jangkauan 0,75-1000 micron dengan begitu untuk mendapatkan hasil optimal penggunaan perangkat Kinect sebaiknya menghindari sinar matahari secara langsung.

Pengujian Sound Tracking 1.

Pengujian suara Sensor mikrofon pada perangkat Kinect bekerja dengan baik dalam menyaring suara dan dapat mengetahui arah sumber suara berasal. Perangkat Kinect tidak mampu mengetahui dengan benar arah sumber suara jika sensor mikrofon atau sumber suara terhalang benda yang sifatnya meredam suara.

2. Pengujian speech recognition

Dalam pengujian speech recognition dengan cara seorang user akan mengucapkan kalimat dalam bahasa inggris sesuai dengan perintah yang telah diprogram, hasil pengujian bahwa pada saat user mengucapkan satu kata, aplikasi akan berusaha mencocokkan kata pengucapan user dengan rangkaian kata-kata perintah dalam program, jika suara pengucapan kata itu benar, maka program akan meneruskan ke kata berikutnya sehingga menjadi suatu kalimat eksekusi. Dalam pengujian speech recognition waktu terbaik jarak pengucapan kata pertama dengan kata selanjutnya kisaran 0,5-0,75 detik.

Kesimpulan 1.

Perangkat Kinect dengan teknologi sound and visual tracking dapat dirancang menjadi sistem keamanan user account dengan kelebihan sebagai sistem pengawas terselubung berupa hasil

capture gambar dan rekaman suara user saat log-in 2.

Pada saat melakukan identifikasi pemilik user account secara visual, peranan terpenting berada pada sensor IR depth jika sensor tersebut tidak bekerja maka sistem aplikasi keamanan secara keseluruhan akan berhenti.

3. Keadaan user pada saat duduk aplikasi identifikasi masih berjalan karena proses pembentuk citra rangka manusia oleh perangkat Kinect masih bisa mengenali bagian kepala hingga ke tangan akan tetapi kondisi user diam dengan tangan berada di bawah meja pembentuk citra rangka manusia tidak terjadi.

4. Dalam pengenalan ucapan user berupa tempo dan logat suara yang diterima oleh sensor mikrofon dapat menyebabkan terjadinya kesalahan masukan berupa kata-kata yang diucapkan.

Referensi

Giorio, Clemente and Massimo Fascinari. Kinect in Motion – Audio and Visual Tracking by Example. Birmingham: Pact Publishing, 2013. [3] Webb, Jarrett and James Ashley. Beginning Kinect Programing with the Microsoft Kinect SDK.

New York: Apress, 2012. [4] Microsoft Corp. Redmond WA. Kinect for Xbox 360. [5]

Borenstein, Greg. Making Things See. Canada: O’Relly, 2012 [6]

A Wei Qu, Dan Schonfeld. "Real-Time Decentralized Articulated Motion Analysis and Object

Tracking From Videos " IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2129- 2138,August 2007, DOI: 10.1109/TIP.2007.899619.

[7] Li Yuan Li, Jerry Kah Eng Hoe, Shui- Cheng Yan, Xin Guo Yu, “ML-fusion based multi-model

human detection and tracking for robust human-robot interfaces ”, The 2009 Workshop on

Applications of Computer Vision (WACV 09), pp. 1-8, 7-8 December 2009,DOI: 10.1109/WACV.2009.5403083.

5. Teknologi Sound and Visual Tracking pada perangkat Kinect dapat dipadukan dengan teknologi keamanan lainnya seperti face detection, dan finger print, sehingga dapat menciptakan sistem proteksi user account handal dan sulit untuk dimanipulasi.

[1] Jana, Abhijit. Kinect for Windows SDK Programing Guide. Birmingham: Pact Publishing, 2012. [2]

PENERAPAN TEKNOLOGI SOUND AND VISUAL TRACKING PADA KINECT SEBAGAI SISTEM KEAMANAN IDENTIFIKASI USER ACCOUNT