Pengenalan Jari Tangan Sebagai Interaksi Pada Augmented Reality Bangunan Heritage Kota Medan Kawasan Matsum dan Kesawan

DAFTAR PUSTAKA

Annadurai, S. & Shanmugalakshmi, R. 2007.Fundamental of Digital Image Processing. New Delhi : Pearson Education.

Ajy, M, K. 2013.Membuat Aplikasi Pengolahan Citra dengan OpenCV.

Chairunnisa, T. 2015.Pengenalan Gerakan Tangan Manusia Untuk Interaksi Manusia-Komputer.Skripsi.Universitas Sumatera Utara.

Dhawan, A. & Honrao, V. 2013.Implementation of Hand Detection based Techniques for Human Computer Interaction.International Journal of Computer Applications (0975 – 8887) Volume 72– No.17. pp. 6-13.

Gary Bradski & Adrian Kaehler, Learning OpenCV Computer Vision with OpenCV Library, O’REILLY.

Hartanto, R. & Nurtiantoro, M.A. 2012.Perancangan Awal Antarmuka Gesture Tangan Berbasis Visual. JNTETI, Vol. 1, No. 1. pp. 36-43.

Jawas, N. & Suciati, N. 2013.Image Inpainting using Erosion and Dilation Operation.International Journal of Advanced Science and Technology Vol. 51.pp123-134.

Lee, H., Tateyama, Y. & Ogi, T. 2012. Hand Gesture Recognition Using Blob Detection For Immersive Projection Display System. World Academy of Science, Engineering and Technology International Journal of Computer, Electrical, Automation, Control and Information Engineering Vol:6, No:2. pp 260-263.

Martinez, H. & Bandyopadhyay, P. 2014.Analysis of Four Usability Evaluation Methods Applied to Augmented Reality Applications. Elsevier.Helsinki:Finlandia.

Mritunjayrai, VijendraBhootna & Yadav, R.K. 2015.Performance based algorithm for the detection and extraction of human skin. First International Conference on Futuristic Trend in Computational Analysis and Knowledge Management (ABLAZE), pp 127-131.

Muqtadir, A., Pramono, B. & Purwanti, I, N. 2016. Pengendali Fungsi Pointer Berbasis Hand Gesture Menggunakan Algoritma Convex Hull. semanTIK, Vol.2, No.1. pp. 141-154.

Nayana, P.B. & Kubakaddi, S. 2014. Implementation of hand gesture recognition technique for HCI using OpenCV.International Journal of Recent Development in Engineering and Technology2(5) : 17-21.

Rahman, S, U., Afroze, Z. & Tareq, M. 2014.Hand Gesture Recognition Techniques For Human Computer Interaction Using OpenCV.International Journal of Scientific and Research Publications, Volume 4, Issue 12, ISSN 2250-3153. pp 1-6.

Setiawardhana., Ramadijanti, N. & Nugraha, R. 2012. Sistem Pendeteksian Jari Telunjuk pada Game “TicTacToe” Menggunakan Metode Viola dan Jones. Tesis.Universitas Politeknik Elektronika Negeri Surabaya.

Shapiro, L.G. & Stockman G.C. 2001.Computer Vision.Prentice-Hall : Upper Saddle River.

Yesugade, K.D., Salunke, S., Shinde, K., Gaikwad, S. & Shingare, M. 2014. Hand motion recognition. International Journal of Technology and Exploring Engineering (IJITEE) 3(11) : 55-61.

Youssef, M.M., Asari, K.V., Tompkins, R.C. & Foytik, J. 2010. Hull convexity defects features for human activity recognition. IEEE Applied Imagery Pattern Recognition Workshop (AIPR), pp.1-7.

BAB 3

ANALISIS DAN PERANCANGAN

Bab ini akan membahas tentang implementasi metode yang digunakan untuk mengenali gerakan tangan manusia. Adapun 2 (dua) tahap yang akan dibahas pada bab ini, yaitu tahap analisis dan tahap perancangan system.

3.1 Data yang Digunakan

Data yang digunakan dalam penelitian ini berupa citra yang diambil secara real-time melalui kamera web. Dalam pengambilan citra, ada beberapa aspek yang yang perlu diperhatikan yaitu kualitas kamera web, pencahayaan(lighting) dan jarak pengambilan gambar.

3.2 Analisis Sistem

Metode yang digunakan untuk mengenali gestur tangan manusia melalui kamera web yang digunakan sebagai interaksi manusia-komputer untuk menjalankan instruksi yang telah ditentukan. Penelitian ini terdiri dari beberapa langkah, adapun langkah-langkah tersebut yaitu: pengambilan citra atau gambar melalui kamera web; resizing citra; konversi warna RGB ke HSV; pendeteksian warna kulit dengan mengatur nilai range HSV yang diinginkan; memperbaiki citra dengan median blur utk menghilangkan noise dandilasi; ekstraksi fitur dengan contour dan mencari convex-hull dari contour yang telah tertangkap; menghitung convexity defects; menghitung jumlah jari tangan yang terdeteksi. Setelah langkah tersebut telah dilakukan dan berhasil maka akan didapatkan jumlah jari tangan manusia yang berupa suatu instruksi atau perintah untuk memilih sebuah scene yang terdapat pada aplikasi Unity 3D. Adapun arsitektur umum yang menggambarkan metode pada penelitian ini ditunjukkan pada Gambar 3.1.

Gambar 3.1 Arsitektur Umum

3.2.1 Skin Detection

Proses segmentasi digunakan untuk mendapatkan objek yang akan diidentifikasi yang dalam hal ini adalah citra tangan.Agar citra tangan dari pengguna yang diambil dari kamera dapat diidentifikasi sebagai suatu perintah.

Pendeteksian objek tangan berdasarkan warna kulit ini sangat dipengaruhi oleh intensitas cahaya pada citra dan juga kualitas dari kamera web itu sendiri dan juga latar pengambilan objek itu sendiri.Pada penelitian ini digunakan metode warna HSV Citra ditangkap

web camera

Pemilihan Scene Unity berdasarkan jumlah jari

yang terdeteksi

Eksraksi Fitur Contour

Convex-Hull

Convexity Defects Klasifikasi

Menghitung Jumlah Jari

Output Konversi RGB ke HSV

Atur range HSV

Erosion

Dilation

Median Blur Perbaikan Citra Pre-Processing

sebagai segmentasi gambar berdasarkan warna.Adapun langkah-langkah mendeteksi warna kulit manusia sebagai berikut.

3.2.1.1Konversi RGB ke HSV

Setelah citra tertangkap oleh kamera web, kemudian akan dikonversi ke ruang warna HSV. Format HSV lebih cocok untuk melakukan pengolahan berdasarkan warna daripada menggunakan RGB, karena kita mendapatkan saluran tunggal (H) yang memegang nilai warna pixel dan dua saluran lainnya (S dan V) yang memegang tingkat saturasi dan kecerahan tingkat pixel. Pada penelitian ini menggunakan fungsi cvtColor() yang tersedia pada OpenCV. Berikut adalah penjelasan fungsi tersebut.

cvtColor (Mat src, Mat dst, Imgproc, int code); Parameter:

• Src : citra masukan yaitu rgbaMat

• Dst : citra keluaran yaitu hsvMat

• Code : kode konversi ruang warna yaitu COLOR_BGR2HSV

3.2.1.2Atur Range HSV

Setelah dilakukan konversi ke format HSV, selanjutnya dilakukan perubahan citra ke dalam bentuk citra biner menggunakan proses thresholding. Deteksi warna kulit dilakukan dengan cara menentukan rentang nilai dari H, S, dan V, Sehingga untuk setiap piksel dalam citra, jika berada dalam range tersebut, maka akan dianggap sebagai warna kulit, sedangkan untuk yang berada di luar range tersebut akan dianggap sebagai background. Untuk mengecek apakah element tersebut berada di range pada penelitian ini digunakan fungsi Core.inRange() yang tersedia pada OpenCV. Berikut ini adalah penjelasan tentang fungsi tersebut.

inRange (Mat src, Scalar lowerb, Scalar upperb, Mat dst); Parameter :

• src : citra masukan yaitu hsvMat

• dst : citra keluaran yaitu hsvMat

• Lowerb : batas bawah array

3.2.1.3Tresholding

Untuk setiap piksel dalam citra, jika nilai H, S, V berada dalam rentang tersebut, maka akan dianggap sebagai warna kulit dan nilainya akan diubah menjadi 255 (warna putih). Sedangkan untuk yang berada di luar rentang itu, akan dianggap sebagai latar belakang dan akan diubah nilainya menjadi 0 (warna hitam). Dengan metode ini, didapatkan citra biner hasil skin detection dengan warna putih merepresentasikan tangan pengguna dan warna hitam merepresentasikan background.

3.2.2 Perbaikan Citra

Hasil dari proses segmentasi yang berupa gambar hitam putih (binary image) yang menunjukkan bagian kulit dari gambar masukan. Akan tetapi citra hasil segmentasi tersebut masih terdapat noise& potongan dari beberapa benda lainnya pada citra, seperti latar belakang gambar. Oleh karena itu, perlu dilakukan beberapa tahapan proses morfologi untuk membersihkan gambar dari noise& potongan tersebut. Adapun beberapa proses morfologi tersebut yaitu. Erosion, dilation dan median blur.

3.2.2.1Erosion

Proses erosi membuang piksel dari gambar atau ekivalen dengan membuat piksel ON menjadi OFF, yaitu piksel putih yang melekat pada daerah background, sehingga akan menyebabkan piksel putih berkurang luasnya (shrinking) dengan tujuan untuk menghilangkan piksel yang memiliki noise pada citra. Adapun fungsi yang digunakan peneliti untuk proses erosi yaitu.

Mat element = getStructuringElement(erosion_type,Size (2*erosion_size+1),Point(erosion_size,erosion_size));

Imgproc.erode(src, dst, element); Parameter:

• Src : citra masukan

• Dst : citra keluaran

• Element : Ini adalah kernel yang akan di gunakan untuk melakukan operasi. Jika tidak ditentukan dahulu, maka defaultnya adalah matriks 3x3 sederhana.Akan tetapi, kita dapat menentukan

bentuknya. Untuk ini, kita perlu menggunakan fungsi getStructuringElement:

• Erosi_type : bentuk dari kernel, bentuk yang digunakan yaitu MORPH_ELLIPSE yang berbentuk Ellipse

• Erosion_size : ukuran celah linear, ukuran yang digunakan pada penelitian ini adalah 5

3.2.2.2Dilation

Proses dilasi adalah kebalikan dari proses erosi, membuat piksel off menjadi on, sehingga akan menyebabkan piksel putih bertambah luasnya. Tujuan dilakukan proses dilasi adalah karena saat proses erosi dilakukan pada citra masukan, daerah yang diproses termasuk juga kulit ikut mengalami shrinking sehingga perlu dilakukan suatu proses yang mengembalikan daerah tersebut agar bagian tangan nantinya akan terdeteksi dengan benar.

Mat element = getStructuringElement(dilation_type,Size (2*dilation_size+1),Point(dilation_size,dilation_size));

Imgproc.dilate(src, dst, element); Parameter:

• Src : citra masukan

• Dst : citra keluaran

• Element : Ini adalah kernel yang akan di gunakan untuk melakukan operasi. Jika tidak ditentukan dahuly, maka defaultnya adalah matriks 3x3 sederhana.Akan tetapi, kita dapat menentukan bentuknya. Untuk ini, kita perlu menggunakan fungsi getStructuringElement:

• Dilation_type : bentuk dari kernel, bentuk yang digunakan yaitu MORPH_ELLIPSE yang berbentuk Ellipse

• Dilation_size : ukuran celah linear, ukuran yang digunakan pada penelitian ini adalah 5

3.2.2.3Median Blur

Median blur dilakukan untuk menghilangkan noise yang masih terdapat pada citra setelah proses dilasi, agar tidak terdefinisi sebagai titik objek.berikut adalah fungsi yang tersedia pada library OpenCV.

medianBlur(InputArray src, OutputArray dst, int ksize); Parameter:

• src : citra masukan

• dst : Citra keluaran

• ksize : ukuran celah linear, biasanya lebih dari 1, contohnya: 3, 5, 7.

3.2.3 Ekstraksi Fitur

Setelah gambar melalui tahap perbaikan citra untuk membersihkan gambar dari noise , maka selanjutnya citra akan dilakukan proses ekstraksi fitur yang meliputi contour,convex-hull dan convexity defects pada citra. Proses ini dilakukan untuk mendapatkan informasi yang diinginkan untuk proses analisis ataupun pengklasifikasian data citra. Berikut ini adalah penjelasan dari masing-masing proses yang disebutkan diatas.

3.2.3.1Contour

kontur ditarik sekitar titik-titik putih dari tangan yang ditemukan dari hasil thresholding citra masukan. Hasil tresholding tersebut akan terbentuk lebih dari satu titik pada gambar karena noise dari latar belakang citra. pada penelitian ini digunakan fungsi findcontours() yang telah tersedia oleh OpenCV untuk mendeteksi titik-titik kontur pada citra hasil perbaikan noise sebelumnya.Berikut adalah penjelasan dari fungsi tersebut.

findContours (src image, contours, hierarcy, mode, method, Point()); Parameter :

• Image : citra masukan, yaitu citra hasil proses perbaikan citra

• Contours : titik kontur yang terdeteksi. Setiap titik kontur yang terdeteksi akan disimpan didalam list titik vector

• hierarchy : keluaran berupa titik vektor yang bersifat opsional. Dalam parameter ini disimpan berbagai informasi dari setiap titik kontur, misalnya titik kontur sebelumnya, titik kontur selanjutnya, titik kontur utama, dsb.

• Mode : cara pendeteksian titik kontur. Pada penelitian ini dilakukan dengan cara CV_RETR_EXTERNAL, yang mengambil semua titik kontur dan merekontruksi penuh hirarki titik-titik kontur yang terhubung

• Method : metode pendekatan titik kontur. Pada penelitian ini dilakukan dengan cara CV_CHAIN_APPROX_SIMPLE, yang menekankan pada segmen horizontal, vertikal, dan diagonal dan menentukan titik akhir pada kontur.

Setelah contour didapatkan pada citra masukan, maka titik-titik yang didapatkan akan digambar membentuk sebuah gambar tangan. Fungsi yang digunakan pada penelitian ini yaitu drawContours() yang telah tersedia pada library OpenCV.Berikut ini adalah gambar dari proses pendeteksian contour pada penelitian ini yang dapat dilihat dari gambar 3.2.

Gambar 3.2 Hasil dari Contour

3.2.3.2Convex-hull

Setelah titik-titik yang dihasilkan didapatkan dan dibentuk menjadi contour pada proses sebelumnya, maka proses selanjutnya yaitu Convex-hull. Convex hull adalah metode yang digunakan untuk mendeteksi kontur atau obyek pada citra.Convex hull terdiri dari titik-titik yang dihubungkan dengan garis yang mengelilingi kontur (objek

pada citra). Setelah kontur-kontur didapatkan, dari kontur-kontur tersebut akan dicari kontur yang paling besarnya (objek tangan harus yang paling besar) sebelum dilakukan pencarian convex hullnya .Fungsi yang digunakan pada penelitian ini yaitu convexHull(). Adapun penjelasan fungsi tersebut yaitu.

convexHull(InputArray points, OutputArray hull); Parameter:

• Points : titik kontur yang terdeteksi dan telah disaring.

• Hull : hasil keluaran Convex-hull.

Berikut ini adalah gambar dari proses pendeteksian convex-hull pada penelitian ini yang dapat dilihat dari gambar 3.3

Gambar 3.3 Hasil dari Convex-hull

3.2.3.3 Convexity defects

Setelah kontur terbesar dan Convex-hull terdeteksi, maka proses selanjutnya yaitu Convexity defects.yang merupakan titik temu antara titik kontur dan garis Convex-hull. Pada penelitian ini, digunakan fungsi convexityDefects() yang telah tersedia di OpenCV untuk mendeteksi Convexity defects. Berikut ini adalah penjelasan tentang fungsi tersebut.

convexityDefects(contour, convexHull, convexityDefects); Parameter :

• contour : Titik-tik kontur terbesar yang terdeteksi

• convexityDefects : hasil keluaran Convexity Defects.

Berikut ini adalah gambar dari proses pendeteksian convex-hull pada penelitian ini yang dapat dilihat dari gambar 3.4

Gambar 3.4 Hasil dari Convexity defects

3.3 Use Case Diagram

Use Case Diagram adalah gambaran graphical dari beberapa atau semua actor, use case, dan interaksi diantaranya yang memperkenalkan suatu sistem.Use case dari aplikasi Augmented Reality Bangunan Heritage Kota Medan dapat dilihat pada Gambar 3.5

Gambar 3.5Use case diagram Element - elemen pada Use Case Diagram :

• User :Mempresentasikan seseorang atau sesuatu(seperti perangkat,system lain) yang berinteraksi dengan sistem. Actor hanya berinteraksi dengan use case tetapi tidak memiliki kontrol atas use case. Pada penelitian ini, tugas-tugas actor

Start

System USER

Capture Video

Capture Gesture

Gesture Recognition

Scene Result Marker Detection

yaitu membuka aplikasi, scan gestur jari tangan pada saat pemilihan scene.

• System : Pada aplikasi ini, system bertugas untuk penangkapan kamera, penangkapan gesture jari user menggunakan OpenCV dan mengenali gesture tersebut menggunakan metode yang telah dijelaskan diatas, juga mendeteksi marker yang ada menggunakan library Vuforia serta menampilkan hasil yang ada.

3.4 Diagram Aktivitas

Diagram aktivitas atau activity diagram adalah diagram yang menggambarkan aktivitas yang terjadi selama sistem dijalankan. Diagram aktivitas mendeskripsikan bagaimana awal proses dimulai, keputusan tindakan yang dilakukan dan bagaimana akhir atau hasil dari proses tersebut. Diagram aktivitas pada aplikasi ini dapat dilihat dari gambar 3.6 berikut

USER SISTEM

Gambar 3.6 Activity diagram

Buka Aplikasi

Menampilkan Halaman Video pengenalan

Menampilkan Halaman Pemilihan Scene

Scan Jari

Identifikasi Marker AR Identifikasi Jari

Halaman Scene

Pencocokan Tidak

Ya

Setelah beberapa waktu yang ditentukan

3.5 Perancangan Antarmuka

Pada tahap ini akan dilakukan perancangan antar muka dari sistem pengenalan gerakan tangan yang digunakan untuk pemilihan scene pada Unity. Rancangan antar muka ini diharapkan agar dapat membuat pengguna lebih tetarik dan kemudahan dalam pengaplikasiannya. Pada penelitian ini ada terdapat 3 halaman rancangan antar muka,yaitu halamn utama, halaman pemilihan scene, halaman tampilan scene.

3.5.1 Rancangan Tampilan Halaman Splash

Halaman utama merupakan halam pertama yang muncul saat aplikasi dijalankan. Rancangan halaman utama dapat dilihat pada gambar 3.7 dibawah ini

Gambar 3.7 Rancangan Halaman Splash

Keteragan :

1. Frame ini berisi

• Judul frame

• Tombol Close, yang berfungsi untuk mengakhiri aplikasi tersebut,

• Tombol Maximized Untuk memperbesar jendela Excel XP sehingga terlihat dalam satu layar penuh. Setelah jendela Excel terlihat satu layar penuh

• Tombol Minimize Untuk memperkecil jendela aplikasi sehingga membentuk icon aktif pada Taskbar.

2. Animated loader yang berisi video animasi yang menjelaskan detil isi scene yang ada.

3.5.2 Rancangan Tampilan Pemilihan Scene

Setelah rancangan halaman utama terbuka selama beberapa waktu, maka akan berpindah secara otomatis ke halaman pemilihan scene, halaman ini berisi frame OpenCV untuk pemilihan sceneyang diinginkan pengguna.berikut adalah penjelasan dari rancangan halaman pemilihan sceneyang dapat dilihat pada gambar 3.8 berikut.

Gambar 3.8 Rancangan Halaman Pemilihan Scene

Keterangan :

1. Frame ini berisi

• Judul frame

• Tombol Close, yang berfungsi untuk mengakhiri aplikasi tersebut,

• Tombol Maximized Untuk memperbesar jendela sehingga terlihat dalam satu layar penuh. Setelah jendela Excel terlihat satu layar penuh

• Tombol Minimize Untuk memperkecil jendela aplikasi sehingga membentuk icon aktif pada Taskbar.

2. Slider yang digunakan untuk mengatur range dari HSV yang berfungsi untuk segmentasi citra pada OpenCV

3. Panel yang menampilkan hasil proses OpenCV yang berfungsi untuk pemilihan scene dengan mengarahkan jari ke kamera web.

4. Panel yang menampilkan keseluruhan objek 3D yang ada agar pengguna dapat memilih objek mana yang diinginkan secara terpisah selanjutnya.

3.5.3 Rancangan Halaman Scene

Setelah pengguna memilih scene mana yang akan dilihat secara terpisah pada hlaman pemilihan sceneyang sebelumnya, maka akan mucul halaman scene yang telah dipilih oleh pengguna. Rancangan halamanscene dapat dilihat pada gambar 3.9 berikut.

Gambar 3.9 Rancangan Halaman Scene

Keterangan :

1. Frame ini berisi

• Judul frame

• Tombol Close, yang berfungsi untuk mengakhiri aplikasi tersebut,

• Tombol Maximized Untuk memperbesar jendela sehingga terlihat dalam satu layar penuh. Setelah jendela Excel terlihat satu layar penuh

• Tombol Minimize Untuk memperkecil jendela aplikasi sehingga membentuk ikon aktif pada Taskbar.

BAB 4

IMPLEMENTASI DAN PENGUJIAN SISTEM

4.1 Konfigurasi Sistem

implementasi metode-metode yang digunakan untuk pengenalan jumlah jari tangan manusia yang digunakan untuk pemilihan scene augmented reality yang menggunakan aplikasi Unity 3D.

4.1.1 Konfigurasi Perangkat Keras

Spesifikasi perangkat keras yang digunakan pada penelitian ini dapat dilihat dari table 4.1 berikut:

Tabel 4.1 Konfigurasi perangkat keras yang digunakan

No Jenis Komponen Komponen yang digunakan

1. Processor Intel ® CoreTM i3-4005U CPU 1.70GHz

2. Memory 2048MB

3. Storage 500GB

4. Resolusi Layar 1366 x 768 pixel (14” Monitor) 5. Kamera 1 Logitech PTZ Pro HD1080P 60fps

6. Kamera 2 Logitech CZT HD 1080P

4.1.2 Konfigurasi Perangkat Lunak

Spesifikasi perangkat keras yang digunakan pada penelitian ini dapat dilihat dari table 4.2 berikut:

Tabel 4.2 Konfigurasi perangkat lunak yang digunakan

No Jenis software Software yang digunakan

1. Sistem Operasi Windows 8.1 Pro 64bit

2. Game Engine Unity 5.4.2f2 (64-bit) 3. Library OpenCV OpenCV for Unity v1.2.3 4. Library Vuforia Vuforia for Unity v6.1.7

4.2 Tampilan Aplikasi

Pada tahap ini, dilakukan implementasi tampilan aplikasi sesuai dengan perancangan antarmuka pengguna pada bab 3. Setiap tampilan pada aplikasi akan dibahas bagaimana proses tampilan dan penggunaannya.

4.2.1 Tampilan Halaman splash

Halaman utama ini merupakan halaman yang akan muncul pertama kali saat usermembuka aplikasi. Halaman utama berisi video animasi yang telah dibuat yang berisi konten scene yang ada. Tampilan halaman utama dapat dilihat pada gambar 4.1 berikut.

Gambar 4.1 Tampilan halaman splash

4.2.2 Tampilan halaman pemilihan scene menggunakan OpenCV

Halaman ini adalah halaman untuk memilih scene yang tersedia yang diinginkan oleh user.Halaman ini menampilkan sedikit bagian objek 3D yang mana menjadi konten scene yang ada dan juga tampilan untuk memilih scene menggunakan OpenCV dengan menghitung jumlah jari user yang diarahkan ke kamera. Berikut adalah tampilan halaman pemilihan scene pada gambar 4.2

Gambar 4.2 Tampilan Halaman Pemilihan Scene

4.2.3 TampilanHalaman Scene

Halaman ini berisi scene yang telah dipilih oleh user pada halaman pemilihan scene sebelumnya, pada penelitian ini terdapat 2 halaman scene yang dapat dipilih oleh user yaitu scene Kota Matsum dan scene Kesawan. Berikut adalah gambar masing-masing dari scene yang ada yang dapat dilihat pada gambar 4.3 dan 4.4

Gambar 4.4 Halaman Scene Kota Matsum

4.3 Pengujian Hasil Pengenalan Jari Tangan

Pada pengujian Aplikasi pengenalan tangan ini, Uji coba dilakukan untuk mengetahui apakah jumlah jari tangan dari userakanterbaca dan melakukan instruksi yang sesuai dengan yang telah dirancang seperti pemilihan 2 scene animasi objek 3D.Pada pengujian ini peneliti membuat 8 skenario yang mana masing-masing skenario memiliki kondisi yang berbeda misalnya saat pencahayaan terang atau gelap dan juga jarak jari tangan ke kamera yang mana variabel tersebut sangat mempengaruhi dari pengenalan jari tangan.Hasil pengujian ditampilkan dalam tabel yang memperlihatkan data hasil uji coba.

Skenario 1: Uji coba dilakukan pada backgroundwarna yang polos dan kondisi pencahayaan yang baik dengan pengaturan range HSV diatas. Hasil pengujian ditunjukkan oleh Tabel 4.3,

Tabel 4.3 Pengujian scenario 1

No. Jumlah Jari

Banyak pengujian

(n)

True Positive

False Positive

Akurasi (%)

Error (%)

1 1 72 70 2 97.22 2.78

Gambar 4.5 Skenario 1 dengan Jumlah Jari 1

Setelah dilakukan beberapa kali pengujian, didapatkan nilai rentang HSV yang stabil dalam pendeteksian yaitu H = 70 – 210, S = 10 – 190, dan V = 25 – 200. Nilai rentang tersebut dijadikan nilai rentang default untuk aplikasi. Gambar 4.5 menunjukkan hasil pengenalan jari tangan 1 pada ruangan yang cukup terang sesuai dengan skenario 1 untuk menjalankan perintah pindah ke scene Kota Matsum, jumlah jari tangan ini dapat dikenali oleh system dengan tingkat akurasi yang tinggi, yaitu sebar 97.22% dari 72 kali percobaan, kesalahan yang mungkin terjadi pada proses ini ketika ada perubahan intensitas cahaya yang menjadi redup menyebabkan warna daerah kulit tangan menjadi gelap, sehingga tidak dapat dikenali sistem sebagai warna kulit dan juga jari yang terlipat terdefenisi sebagai jari.

Gambar 4.6 skenario 1 dengan jumlah jari 2

Gambar 4.6 menunjukkan hasil pengenalan jumlah jari tangan dengan jumlah jari 2 dengan skenario 1 untuk menjalankan perintah pindah ke scene kesawan. Dari hasil pengujian didapatkan hasil pengenalan jumlah jari oleh system sebesar 100% dari 60 percobaan.Dari pengujian yang dilakukan dalam skenario 1 untuk 2 perintah tersebut, maka diperoleh hasil rata-rata akurasi sebagai berikut.

A =

97.22+100 2

Skenario 2: Uji coba dilakukan pada background yang polos tetapi pencahayaan yang kurang baik dengan pengaturan range HSV diatas. Hasil pengujian ditunjukan oleh Tabel 4.4.

Tabel 4.4 Pengujian scenario 2

No. Jumlah Jari

Banyak pengujian

(n)

True Positive

False Positive

Akurasi (%)

Error (%)

1 1 75 72 3 96 4

2 2 85 83 2 97.64 2.36

Gambar 4.7 Skenario 2 dengan Jumlah Jari 1

Gambar 4.8 diatas adalah pengujian pengenalan jumlah jari tangan dengan jumlah jari 1 dengan skenario 2 dimana kondisi cahaya yang redup.Hasil pengujian pengenalan jari tangan oleh sistem dengan instruksi pindah scene kesawan didapatkan sebesar 96% dari 75 percobaan.Kesalahan yang mungkin terjadi dikarenakan pendeteksian warna kulit yang gelap sehingga sistem sulit untuk mengenali objek tangan.

Gambar 4.9 diatas hasil pengujian jumlah jari tangan 2 pada skenario 2 dimana cahaya pada ruangan tidak terang atau redup.Hasil jumlah jari yang dapat dikenali oleh sistem yaitu 97.64% dari 85 percobaan.

B = 96+97.64 2

= 96.82%

Dari seluruh pengujian yang dilakukan untuk pengenalan jumlah jari tangan manusia, efek pencahayaan cukup berpengaruh oleh sistem dalam pengenalan jari tangan. Pada cahaya yang terang maka seluruh warna objek yang tertangkap oleh webcam akan terdefinisi dengan baik, sebaliknya jika pencahayaan pada ruangan pengujian tersebut redup, maka sistem akan sulit mendeteksi warna kulit dikarenakan warna objek yang terlalu gelap sehingga tidak dapat didefinisikan sebagai warna kulit. Berikut adalah perhitungan rata-rata akurasi pengenalan jari tangan berdasarkan cahaya.

Rata-rata Akurasi

=

� +� 2

=

98.61+96.82

2

= 97.715%

Skenario 3: Uji coba dilakukan pada jarak lebih dari 65 cm yaitu 80 cm dari depan webcam, dengan pencahayaan yang baik dan background warna polos dengan pengaturan range HSV diatas. Hasil pengujian ditunjukkan oleh Tabel 4.5.

Tabel 4.5 Pengujian scenario 3

No. Jumlah Jari Banyak pengujian (n) True Positive False Positive Akurasi (%) Error (%)

1 1 50 0 50 0 100

Gambar 4.9 Skenario 3

Gambar 4.9 menunjukkan hasil pengujian pengenalan jumlah jari tangan dengan jumlah jari lima dan satu dengan jarak dari kamera sejauh 80 dengan instruksi sesuai dengan tabel 4.5. didapat hasil pengenalan sebesar 0% dengan 50 percobaan. Kesalahan yang terjadi dikarenakan jarak yang terlalu jauh sehingga jarak antara jari terlihat terlalu rapat sehingga area kontur yang terdeteksi menghasilkan nilai depth point yang terlalu kecil.

C = 0+0 2

= 0%

Skenario 4: Uji coba dilakukan pada jarak kurang dari 50 cm yaitu 30 cm dari depan webcam,dengan pencahayaan yang baik dan background warna polos dengan pengaturan range HSV diatas. Hasil pengujian ditunjukkan oleh Tabel 4.10.

Tabel 4.6 Pengujian scenario 4

No. Jumlah Jari

Banyak pengujian

(n)

True Positive

False Positive

Akurasi (%)

Error (%)

1 1 75 74 1 98.66 1.34

Gambar 4.10 Skenario 4

Gambar 4.10 menunjukkan hasil pengujian pengenalan jumlah jari tangan dengan jumlah jari tangan 1 dengan jarak dari kamera sebesar 30 cm sesuai dengan skenario 1 dengan instruksi sesuai dengan table 4.6. setelah dilakukan pengujian didapat hasil pengenalan jumlah jari tangan oleh sistem sebesar 100% dari 75 percobaan.

D = 98.66+100 2

= 99.33%

Dari seluruh pengujian yang dilakukan untuk pengenalan jumlah jari tangan manusia, jarak ke kamera juga cukup berpengaruh oleh sistem dalam pengenalan jari tangan. Pada jarak yang jauh maka kontur tangan yang terdeteksi akan rapat dan menghasilkan nilai depth point yang terlalu kecil sehingga tidak dapat dilakukan perhitungan defects.Berikut adalah perhitungan rata-rata akurasi pengenalan jari tangan berdasarkan cahaya.

Rata-rata Akurasi

=

� +�

2

=

0+99.3

2

4.4 Pengujian Marker Augmented Reality

Pengujian Marker dilakukan untuk membuktikan bahwa marker dapat dideteksi oleh AR Camera dengan baik sehingga dapat menampilkan objek 3D maupun animasi yang telah dibuat sebelumnya. Pengujian dilakukan dengan cara membuka aplikasi , setelah aplikasi terbuka maka AR kamera akan otomatis menyala dan akan mendeteksi markeryang ada dengan mengarahkan kamera pada marker. Apabila marker yang dideteksi cocok dengan marker yang telah didaftarkan pada vuforia maka akan muncul objek 3D maupun animasi yang telah dibuat. Berikut adalah pengujian marker berdasarkan jarak pengambilan kamera dan sudut kemiringan kamera.

4.4.1 Pengujian jarak pendeteksian

Pengujian jarak dilakukan untuk mengetahui seberapa jauh jarak marker dapat dideteksi oleh kamera dan jarak berapa marker dideteksi lebih efektif. Hasil pengujian dapat dilihat pada table 4.7

Tabel 4.7 Pengujian jarak deteksi

No. Jarak Keterangan

1. 2.5 meter Terdeksi dan

stabil

2. 3meter Terdeteksi dan

stabil

3. 5 meter Terdeteksi dan

stabil

3. 7 meter Tidak terdeteksi

4.4.2 Pengujian sudut kemiringan pendeteksian

Pengujian sudut kemiringan kamera dilakukan untuk mengetahui sudut berapa kamera dapat mendeteksi marker dan sudut berapa kamera tidak dapat mendeteksi marker. Hasil pengujian dapat dilihat pada table 4.8

Table 4.8 Pengujian sudut kemiringan kamera

1. 10o Tidak terdeteksi

2. 40o Terdeksi stabil

BAB 5

KESIMPULAN DAN SARAN

Bab ini membahas tentang kesimpulan dari Pengenalan Jari tangan sebagai interaksi augmented reality heritage kota medan .Selain itu juga memberikan saran untuk pengembangan penelitian selanjutnya.

5.1 Kesimpulan

Setelah melakukan tahap implementasi dan menguji sistem, maka diperoleh beberapa kesimpulan yang ditemukan pada penelitian ini, yaitu :

1. Aplikasi dapat berjalan dengan baik saat mendeteksi marker dan menampilkan objek 3D.

2. Situasi yang baik dalam melakukan pendeteksian jumlah jari tangan yaitu pada jarak 30 – 50 cm dan dengan pencahayaan yang cukup terang.

3. Jarak maksimal untuk pendeteksian jumlah jari tangan yaitu 65 cm

4. Pada saat pendeteksian disarankan, warna latar belakang pendeteksian haruslah polos dan tidak bercorak serta berwarna kulit.

5. Jarak optimal pendeteksian marker didapat yaitu 2.5 – 5 meter

5.2 Saran

Saran yang dapat diberikan untuk penelitian selanjutnya adalah :

• Penelitian selanjutnya diharapkan dapat mendeteksi objek tangan dengan latar belakang (background) warna yang bervariasi / tidak polos.

• Diharapkan pengembangan selanjutnya disarankanmenggunakan metode lain agar pendeteksian tidak mudah terganggu karena objek lain masuk seperti kulit lengan maupun kepala.

• Diharapkan penelitian selanjutnyatetap dapat mengenali jumlah jari tangan ketika ada perubahan cahaya yang signifikan.

BAB 2

LANDASAN TEORI

Bab kedua dari penelitian ini akan membahas tentang teori-teori pendukung dan penelitian sebelumnya yang berhubungan dengan OpenCVdan penerapannya.

2.1 Computer Vision

Computer Vision adalah ilmu dan teknologi mesin yang melihat, dimana “lihat” dalam hal ini berarti bahwa mesin mampu mengekstrak informasi dari gambar yang diperlukan untuk menyelesaikan tugas tertentu. Sebagai suatu disiplin ilmu, visi komputer berkaitan dengan teori di balik sistem buatan yangmengekstrak informasi dari gambar. Data gambar dapat mengambil banyak bentuk, seperti urutan video, pandangan dari beberapa kamera, atau data multi-dimensi dari scanner medis.

Menurut Sockman dan Saphiro (2000) ,Computer Vision adalah “To make useful decisions about real physical objects and scenes based on sensed images”. sedangkan menurut Forsyth and Ponce: “Extracting descriptions of the world from pictures or sequences of pictures”.

Computer Vision adalah kombinasi antara Pengolahan Citra dan Pengenalan Pola. Pengolahan Citra (Image Processing) merupan bidang yang berhubungan dengan proses transformasi citra/gambar (image). Proses ini bertujuan untuk mendapatkan kualitas citra yang lebih baik. Sedangkan Pengenalan Pola (Pattern Recognition), bidang ini berhungan dengan proses indenfikasi obyek pada citra atau interpretasi citra. Proses ini bertujuan untuk mengekstrak informasi/pesan yang disampain oleh gambar citra.

Fungsi / Proses pada Computer Vision :Untuk menunjang tugas Computer Vison, terdapat beberapa fungsi pendukung ke dalam sistem ini, yaitu :

2.1.1 Proses penangkapan citra (Image Acquisition)

Image Acqusition pada manusia dimulai pada mata, kemudian informasi visual diterjemahkan de dalam suatu format yang kemudian dapat dimanipulasi oleh otak.Senada dengan proses diatas, computer vision membutuhkan sebuah mata untuk menangkap sebuah sinyal visual.Umumnya mata pada computer vision adalah sebuah kamera video.Kamera menerjemahkan sebuah scane atau image.Keluaran dari kamera ini adalah berupa sinyal analog, dimana frekuensi dan amplitudonya (frekuensi berhubungan dengan jumlah sinyal dalam satu detik, sedangkan amplitudo berkaitan dengan tingginya sinyal listrik yang dihasilkan) merepresentasikan detail ketajaman (brightness) pada scene.

Kamera mengamati sebuah kejadian pada satu jalur dalam satu waktu, memindainya dan membaginya menjadi ratusan garis horizontal yang sama.Tiap-tiap garis membuat sebuah sinyal analog yang amplitudonya menjelaskan perubahan brightness sepanjang garis sinyal tersebut.

Kemudian sinyal listrik ini diubah menjadi bilangan biner yang akan digunakan oleh komputer untuk pemprosesan.Karena komputer tidak bekerja dengan sinyal analog, maka sebuah analog-to-digital converter (ADC), dibutuhkan untuk memproses semua sinyal tersebut oleh komputer.ADC ini akan mengubah sinyal analog yang direpresentasikan dalam bentuk informasi sinyal tunggal kedalam sebuah aliran (stream) sejumlah bilang biner.Bilangan biner ini kemuudian disimpan didalam memori dan akan menjadi data raw yang akan diproses.

2.1.2 Proses pengolahan citra (Image Processing)

Tahapan berikutnya computer vision akan melibatkan sejumlah manipulasi utama (initial manipulation) dari data binary tersebut,Image processing membatu peningkatan dan perbaikan kualitas image, sehingga dapat dianalisa dan di olah lebih jauh secara lebih efisien.Image processing akan meningkatkan perbandingan sinyal terhadap noise (signal-to-noise ratio = s/n).Sinyal-sinyal tersebut adalah informasi yang akan merepresentasikan objek yang ada dalam image.Sedangkan noise adalah segala bentuk interferensi, kekurangan pengamburan, yang terjadi pada suatu objek.

2.1.3 Analisa data citra (Image Analysis)

Image analysisakan mengeksplorasi scane ke dalam bentuk karateristik utama dari objek melalui suatu proses intvestigasi.Sebuah program komputer akan mulai melihat melalui bilangan biner yang merepresentasikan informasi visual untuk mengidentifikasi fitur-fitur spesifikasi dan karekteristiknya.Lebih khusus lagi program image analysis digunakan untuk mencari tepi dan batas-batasan objek dalam image.Sebuah tepian (edge) berbentuk antara objek dan latar belakangnya atau antara dua objek yang spesifik.Tepi ini akan terdeteksi sebagai akibat dari perbedaan level brightness pada sisi yang berbeda dengan salah satu batasnya.

2.1.4 Proses pemahaman data citra (Image Recoginition)

Ini adalah langkah terakhir dalam proses computer vision, yang mana spesifik objek dan hubungannya diidentifikasi.Pada bagian ini akan melibatkan kajian tentang teknik-teknik artificial interlligent.Recognition berkaitan dengan tamplate matching yang ada dalam sebuah tulisan scene.Metode ini menggunakan program pencarian (search program) dan teknik penyesuaian pola (pattern matching techniques).

2.2 Augmented Reality

Menurut Azuma (1997) Augmented Reality (AR) adalah variasi dari Virtual Environment (VE), atauVirtual Reality lebih sering disebut.Teknologi VE benar-benar memasukkan atau mengenggelamkan pengguna sepenuhnya kedalam lingkungan sintetis atau buatan. Sementara pengguna berada didalam lingkungan virutal , pengguna tidak dapat melihat nyatadunia di sekelilingnya. Sebaliknya, AR memungkinkan pengguna untuk melihat dunia nyata, dengan objek virtual yang telah disisipkan atau ditambahkan dengan dunia nyata.Menurut penjelasan (Hallerdan Thomas, 2007), riset Augmented Reality bertujuan untuk mengembangkan teknologi yang memperbolehkan penggabungan secara real-time terhadap digital content yang dibuat oleh komputer dengan dunia nyata. Augmented Reality memperbolehkan pengguna melihat objek maya dua dimensi atau tiga dimensi yang diproyeksikan terhadap dunia nyata. (Emerging Technologies of Augmented Reality: Interfaces and Design).

Teknologi AR ini dapat menyisipkan suatu informasi tertentu ke dalam dunia maya dan menampilkannya di dunia nyata dengan bantuan perlengkapan seperti webcam, komputer, HP Android, maupun kacamata khusus.User ataupun pengguna didalam dunia nyata tidak dapat melihat objek maya dengan mata telanjang, untuk mengidentifikasi objek dibutuhkanperantara berupa komputer dan kamera yang nantinya akan menyisipkan objek maya ke dalam dunia nyata.Ada terdapat 2 metode yang dikembangkan pada Augmented Reality saat ini yaitu ,Marker Based Tracking dan Markless Augmented Reality.:

• Marker Augmented Reality (Marker Based Tracking)

Marker biasanya merupakan ilustrasi hitam dan putih persegi dengan batas hitam tebal dan latar belakang putih. Komputer akan mengenali posisi dan orientasi marker dan menciptakan dunia virtual 3D yaitu titik (0,0,0) dan tiga sumbu yaitu X, Y, dan Z. Marker Based Tracking ini sudah lama dikembangkan sejak 1980-an dan pada awal 1990-an mulai dikembangkan untuk penggunaan Augmented Reality.

• Markerless Augmented Reality

Salah satu metode Augmented Reality yang saat ini sedang berkembang adalah metode Markerless Augmented Reality, dengan metode ini pengguna tidak perlu lagi menggunakan sebuah marker untuk menampilkan elemen-elemen digital, dengan tool yang disediakan Qualcomm untuk pengembangan Augmented Reality berbasis mobile device, mempermudah pengembang untuk membuat aplikasi yang markerless (Qualcomm, 2012).

Seperti yang saat ini dikembangkan oleh perusahaan Augmented Reality terbesar di dunia Total Immersion dan Qualcomm, mereka telah membuat berbagai macam teknik Markerless Tracking sebagai teknologi andalan mereka, seperti Face Tracking, 3D Object Tracking, dan Motion Tracking.

2.3 Citra Digital

Citra digital adalah citra dua dimensi yang dapat ditampilkan pada layar monitor komputer sebagai himpunan berhingga (diskrit) nilai digital yang disebut pixel (picture elements). Pixel adalah elemen citra yang memiliki nilai yang menunjukkan intensitas warna. Berdasarkan cara penyimpanan atau pembentukannya, citra digital dapatdibagi menjadi dua jenis. Jenis pertama adalah citra digital yang dibentuk olehkumpulan pixel

dalam array dua dimensi.Citra jenis ini disebut citra bitmap atau citra raster.Jenis citra yang kedua adalah citrayang dibentuk oleh fungsi-fungsi geometri dan matematika.Jenis citra ini disebutgrafik vektor.Citra digital (diskrit) dihasilkan dari citra analog (kontinu) melalui digitalisasi.Digitalisasi citra analog terdiri sampling danquantitazion.Sampling adalah pembagian citra ke dalam elemen-elemen diskrit (pixel), sedangkan quantitazion adalah pemberian nilai intensitaswarna pada setiap pixel dengan nilai yang berupa bilangan bulat (Awcock,1996).

2.4 Pengolahan Citra Digital

Pengolahan citra merupakan teknik manipulasi citra secara digital yang khususnya menggunakan komputer, menjadi citra lain yang sesuai untuk digunakan dalam aplikasi tertentu. Agar mudah diinterpretasi oleh manusia atau komputer, pengolahan citra harus dilakukan dengan berbagai macam metode untuk mencapai citra sesuai yang diinginkan.Operasi pengolahan citra digital umumnya dilakukan dengan tujuan memperbaiki kualitas suatu gambar sehingga dapat dengan mudah diinterpretasikan oleh mata manusia dan untuk mengolah informasi yang ada pada suatu gambar untuk kebutuhan identifikasi objek secara otomatis.

2.4.1 Gray-Scaling

Proses awal yang banyak dilakukan dalam image processing adalah mengubah citra berwarna menjadi citra gray-scale, hal ini digunakan untukmenyederhanakan model citra. Seperti telah dijelaskan di depan, citra berwarna terdiri dari 3 layer matrik yaitu R- layer, G-layer dan B-layer. Sehingga untuk melakukan proses-proses selanjutnya tetap diperhatikan tiga layer di atas. Bila setiap proses perhitungan dilakukan menggunakan tiga layer, berarti dilakukan tiga perhitungan yang sama. Sehingga konsep itu diubah dengan mengubah 3 layer di atas menjadi 1 layer matrik gray-scale dan hasilnya adalah citra gray-scale.Dalam citra ini tidak ada lagi warna, yang ada adalah derajat keabuan.

Untuk mengubah citra berwarna yang mempunyai nilai matrik masing-masing r, g dan b menjadi citra gray-scale dengan nilai s, maka konversi dapat dilakukan dengan mengambil rata-rata dari nilai r, g dan b sehingga dapat dituliskan menjadi:

Keterangan:

I (x,y) = nilai intensitas citra grayscale

R (x,y) = nilai intensitas warna merah dari citra asal G (x,y) = nilai intensitas warna hijau dari citra asal B (x,y) = nilai intensitas warna biru dari citra asal Atau dapat menggunakan persamaan:

I = ( 0,299 x R(x,y)) + ( 0,587 x G(x,y)) + (0,144 x B(x,y)) ……… (2.2) (Taylor dan Francis Group, 2007)

2.4.2 Thresholding

Thresholding merupakan konversi citra berwarna ke citra biner yang dilakukan dengan cara mengelompokkan nilai derajat keabuan setiap pixel kedalam 2 kelas, hitam dan putih. Pada citra hitam putih terdapat 256 level, artinya mempunyai skala “0” sampai “255” atau [0,255], dalam hal ini nilai intensitas 0 menyatakan hitam, dan nilai intensitas 255 menyatakan putih, dan nilai antara 0 sampai 255 menyatakan warna keabuan yang terletak antara hitam dan putih (Munir, 2004).

Pada operasi pengambangan, nilai intensitas pixel dipetakan ke salah satu dari

dua nilai, α₁atau α₂, berdasarkan nilai ambang (threshold) T dapat ditunjukkan seperti pada persamaan 2.3

��, ′= α₁,f x,y <�α₂,f x,y ≥T ……….………....(2.3)

Jika α₁= 0 dan α₂ = 1, maka operasi pengambangan mentransformasikan citra hitam-putih ke citra biner. Dengan kata lain, nilai intensitas pixel semula dipetakan ke dua nilai saja: hitam dan putih. Nilai ambang yang dipakai dapat berlaku untuk keseluruhan pixel atau untuk wilayah tertentu saja (berdasarkan penyebaran nilai intensitas pada wilayah tersebut) (Munir, 2004).Thresholding merupakan salah satu teknik segmentasi yang baik digunakan untuk citra dengan perbedaan nilai intensitas yang signifikan antara latar belakang dan objek utama.Dalam pelaksanaannya thresholding membutuhkan suatu nilai yang digunakan sebagai nilai pembatas antara objek utama dengan latar belakang, dan nilai tersebut dinamakan dengan threshold.Sementara pada kasus segmentasi objek yang membutuh dua nilai T atau lebih, maka disebut dengan Multiple Threshold (Gonzales dan Woods, 2002).

Gambar 2.1. Citra hasil segementasi (Rahman ,S U et al.2014)

2.4.3 Erosion

Operasi erosi adalah operasi morfologi untuk mengurangi area foreground.Efek dari operasi ini adalah menyusutkan foreground.Foreground berkurang dari tepi luar ke dalam wilayahnya. Jika ada lubang di dalam area foreground, maka lubang akan membesar. Proses ini menggunakan penataan elemen (structuring element) dan hal itu dilakukan dengan operasi konvolusi antara gambar dan structuring element. Operasi ini adalah untuk gambar biner. Proses erosi akan mengatur pixelforeground menjadi background jika ada bagian dari structuring element yang mencapai latar belakang saat tengah structuring element mencapai tepi foreground. Gambar 2.2 memberikan ilustrasi dari proses erosi dengan contoh structuring element 3 x 3.

Gambar 2.2 (a) penataan element dan gambar sebelum operasi; (b) hasiloperasi erosi (Naser dan Nanik, 2013)

2.4.4 Dilation

operasi dilasi adalah operasi kebalikan dari erosi. erosi adalah untuk mengurangi latar depan, sedangkan dilasi untuk memperbesarnya. latar depan membentang dari batas

luarnya. Jika ada lubang di dalam foreground, maka lubang menyusut. Sama seperti erosi, operasi dilasi menggunakan elemen struktural.Elemen struktural digunakan dalam konvolusi dengan gambar.Proses dilasi akan mengatur pixel background untuk menjadi latar depan jika ada bagian dari elemen penataan yang mencapai foreground ketika pusat dari elemen penataan masih di daerah background. Gambar 2.3 memberikan gambaran tentang proses dilasi dengan contoh elemen 3 x 3 penataan.

Gambar 2.3 (a) penataan element dan gambar sebelum operasi; (b) hasil operasi dilasi (Naser dan Nanik , 2013)

2.4.5 Contour

Sebuah kontur adalah kurva untuk fungsi dua variabel bersama yang fungsinya memiliki nilai konstan. Sebuah kontur menggabungkan poin-poin di atas tingkat tertentu dan ketinggian yang sama. Sebuah peta kontur menggambarkan kontur menggunakan garis kontur, yang menunjukkan kecuraman lereng dan lembah dan bukit-bukit.gradien fungsi ini selalu tegak lurus dengan garis kontur. Ketika garis yang berdekatan, besarnya gradien biasanya sangat besar. Kontur –kontur adalah berupa garis lurus atau kurva yang menggambarkan persimpangan satu atau lebih bidang horisontal dengan permukaan nyata atau hipotetis. (Implementation of Hand Detection based Techniques for Human Computer Interaction ,Amiraj Dhawan, Vipul Honrao). Gambar 2.4

Gambar 2.4 Contour(Amiraj dan Vipul, 2013)

2.4.6 Convex-hull

Convex hull digambarkan secara sederhana dalam sebuah bidang sebagai pencarian subset dari himpunan titik pada bidang tersebut, sehingga jika titik-titik tersebut dijadikan poligon maka akan membentuk poligon yang konveks. Suatu poligon dikatakan konveks jika garis yang menghubungkan antar kedua titik dalam poligon tersebut tidak memotong garis batas dari poligon.Convex hull suatu obyek P didefinisikan sebagai area poligon convex terkecil yang melingkupi P. Oleh karena itu, untuk suatu himpunan titik N {p0, p1, p2, . . . , pN}ϵ P, maka dapat dinyatakan bahwa hull H dapat disusun dengan M titik dari himpunan N untuk membuat suatu area konveks poligon minimum.Dari Gambar.2.3 dapat dinyatakan bahwa Convex hull dibuat dengan mengambil sudut interior θ, dari tiga titik yang bersebelahan {p1, p0,

p9}. Jika θ > π maka p0 dianggap sebagai titik refleks dan p0 bukan anggota M. Himpunan akhir H adalah {p1, p9, p7, p5, p3}.(Alif Muqtadiret al, 2013).

2.4.7 Convexity Defects

Convex hull dari kontur lengan bawah dihitung untuk mendapatkan convexity defects dari kontur. Convexity defects menyediakan informasi yang sangat berguna untuk memahami bentuk kontur. Banyak karakteristik dari kontur yang rumit dapat digambarkan dengan convexity defects.Pada pembahasan sebelumnya, dijelaskan bahwa titik-titik yang membentuk convex hull harus merupakan bagian dari kontur. Langkah pertama dalam mencari convexity defects adalah menemukan titik awal (starting point) dari convexity defects pada kontur. Titik awal convexity defects adalah sebuah titik pada kontur yang juga termasuk dalam titik-titik convex hull, tapi titik selanjutnya pada kontur tidak termasuk dalam titik-titik convex hull. Gambar 2.6 menjelaskan titik awal dari convexity defects.Kontur dicari dengan jalur searah jarum jam.Titik merah adalah titik pertama yang termasuk dalam convex hull, tapi titik selanjutnya tidak termasuk dalam convex hull.Setelah definisi titik awal diketahui, titik akhir pun juga demikian.Titik akhir didefinisikan sebagai titik dari kontur yang termasuk dalam titik-titik convex hull, tapi titik sebelumnya tidak termasuk dalam titik-titik convex hull.Sebagaimana yang ditunjukkan oleh Gambar 2.6, titik ungu adalah titik akhir dari convexity defects. Dengan menghubungkan titik awal, titik akhir, dan titik di antara keduanya, area dari convexity defects dapat diketahui sebagaimana ditunjukkan oleh sebagaimana ditunjukkan oleh Gambar 2.7.(Rudy dan Marcus, 2012).

Gambar 2.6 Titik awal (starting point) dan titik akhir (ending point) convexity defect (Aliq dan bambang, 2016).

Gambar 2.7 Area convexity defects(Aliq dan bambang, 2016)

2.5 OpenCV

OpenCV (Open Source Computer Vision) adalah open source library yang berisi lebih dari 500 algoritma teroptimasi untuk analisa citra atau video.Sejak diperkenalkan pada tahun 1999, OpenCV sebagian besar telah diadopsi sebagai alat pengembangan utama oleh komunitas peneliti dan pengembang dalam bidang komputer visi.OpenCV pada awalnya dikembangkan di Intel oleh tim yang dipimpin oleh Gary Bradski sebagai inisiatif untuk memajukan penelitian dalam visi dan mempromosikan pengembangan aplikasi yang kaya dan berbasis visi-CPU-intensif. Setelah OpenCV versi Beta diluncurkan, versi 1.0 diluncurkan pada tahun 2006.Rilis besar kedua terjadi pada tahun 2009 dengan diluncurkannya OpenCV 2 yang menawarkan banyak perubahan penting.OpenCV didesain untuk digunakan bersama dengan Intel Image Processing Library (IPL) dan memperluas fungsionalitas terhadap citra dan pola analisis. Oleh karena itu, OpenCV berbagi format (iplImage) citra yang sama dengan IPL.

Pengaplikasian OpenCVdapat digunakan untuk interaksi antara manusia dan computer, misalnya wajah dari manusiadideteksi oleh camera/webcam, lalu di proses oleh computer, untuk melakukan aksitertentu seperti mengikuti/mengenal wajah orang tersebut.Kesemuanya itumembutuhkan OpenCV sebagai program utama antara webcam dan perangkatnya yaitucomputer maupun smartphone. Library ini terdiri dari fungsi-fungsi computer vision danAPI (Aplication Programming Interface) untuk image processing high level maupun lowlevel dan sebagai optimisasi aplikasi realtime. OpenCV sangat disarankan untukprogrammer yang akan berkutat pada bidang computer vision, karena library ini mampumenciptakan aplikasi yang handal, kuat dibidang digital vision, dan mempunyaikemampuan yang mirip dengan cara pengolahan pada manusia.

2.6 Unity 3D

Unity3D merupakan sebuah tools yang terintegrasi untuk membuat bentuk obyek 3 dimensi pada video games atau untuk konteks interaktif lain seperti visualisasi arsitektur atau animasi 3D real-time. Lingkungan dari pengembangan unity3D berjalan pada Microsoft Windows dan Mac Os X. Serta aplikasi yang dibuat oleh unity3D dapat berjalan pada Windows, Mac, Xbox 360, Playstation 3, Wii, Ipad, Iphone dan tidak ketinggalan pada platform Android. Unity juga dapat membuat game berbasis browser yang menggunakan Unityweb player plugin, yang dapat bekerja pada Mac dan Windows, tapi tidak pada Linux.

Adapan fitur–fitur yang dimiliki Unity 3D (Rizki et al. 2012) antara lain sebagai berikut :

1. Integrated Development Environment (IDE) atau lingkungan pengembangan terpadu.

2. Penyebaran hasil aplikasi pada banyak platform. Seperti Android, Flash, iOS, Blackberry, Wii, Xbox dan lain – lain.

3. Engine Grafis menggunakan Direct3D (Windows), OpenGL (Mac, Windows), OpenGL ES (iOS) dan proprietary (Wii).

4. Game Scripting melalui Mono, Scripting yang dibangun pada Mono, implementasi Open Source dari NET Framework. Selain itu pemrograman dapat menggunakan Unity Script (Bahasa Kustom dengan sintaks Java Script-Inspired, bahasa C# atau Boo (yang memiliki sintaks-Python-inspired).

2.7 C#

C# (dibaca C-Sharp) adalah bahasa pemrograman untuk .NetEnvironment.C# adalah bahasa baru yang miskin kompatibilitas tapi memiliki banyak fitur yang menarik dan menjanjikan. C# adalah bahasa pemrograman berbasis obyek yang memiliki inti, banyak kemiripannya dengan Java, C++, dan VB. Kenyataannya, C# menggabungkan efisiensi dari C++, desain berbasis objek yang sederhana dan bersih dari Java dan penyederhanaan bahasa dari Visual Basic. Seperti Java, C# juga tidak membolehkan multipleinhetitance atau penggunaan pointer (pada safe/managed code), tapi menyediakan garbage memory collection pada runtime, tipe dan pengecekan akses

memori.Akan tetapi, berlawanan dengan Java, C# mempertahankan operasi berguna yang unik pada C++ seperti operator overloading, enumeration, pre-processor directive, pointer (pada unmanaged/unsafe code), danfunction pointer (pada pengutusan form).

2.8 Penelitian Terdahulu

Penelitian yang dilakukan Nayana P B dan Sanjev Kubakaddi mengimplementasikan teknik pengenalan gestur tangan untuk Human Computer Interaction (HCI) menggunakan OpenCV. Pada penelitian ini, gambar gerakan tangan yang diambil oleh kamera dijadikan sebagai input untuk algoritma. Algoritma yang digunakan mampu mengenali jumlah jari yang hadir dalam gerakan tangan

Pada tahun 2015,penelitian yang dilakukan oleh Hu Peng yang berjudul Application Research on Face Detection Technology based on OpenCV in Mobile Augmented Reality membahastentang pengembangan dan tipe teknologi dari teknologi deteksi wajah dan augmented realitymobile. Perangkat lunak yaang mendukung penelitian ini antara lain yaitu,Unity3D,3Ds Max dan lainnya. Hasil dari penelitian ini yaitu ketika kamera mendeteksi wajah,maka akan muncul wajah 3D pada posisi yang sesuai dan dapat bergerak mengikuti wajah yang dideteksi .pengguna dapat berinteraksi dengan wajah 3D dengan menekan layar.

Pada tahun tahun 2014 ,Sajjad Ur Rahman, Zeenat Afroze dan Mohammed Tareq, Melakukan penelitian yang meneliti teknik untuk interaksi manusia-mesin berdasarkan pengenalan gestur menggunakan teknologi OpenCV yang mana menyediakan struktur data untuk image processing denganefisiensi terbaik. Pada penelitian ini, seluruh gambar gestur tangan ditangkap oleh web camera. Algoritma yang digunakan yaitu convexity defects membantu untuk menentukan lokasi telapak tangan dan ujung jari.

Pada tahun 2012, Rudy Hartanto dan Marcus Nurtiantono Aji membuat sebuah Perancangan Awal Antarmuka Gestur Tangan Berbasis Visual. Pada penelitian ini para penelitidalam mendeteksi awal citra menggunakan algoritma segmentasi dengan deteksi warna kulit menggunakan ruang warna YCrCb.masih dengan menggunakan metode convexity defects untuk mendeteksi jumlah jari tangan. Jumlah jari yang

didapat akan digunakan sebagai instruksi perintah mouse seperti move, klik kiri, klik kanan, klik ganda , dan drag.

Pada tahun 2013, Amiraj Dhawan dan Vipul Honrao, melakukan penelitian yaitu Implementation of Hand Detection based Techniques for Human Computer Interaction. Pada penelitian ini didapat berbagai teknik untuk interaksi manusia-komputer secara efisien. Adapun teknik segmentasi yang digunakan pada penelitian ini yaitu, Thresholding menggunakan metode Otsu, Incremental Thresholding Value, dan Color based Thresholding. Untuk ekstraksi fitur ,penelitian ini menggunakan contour, convex-hull dan convexity defects.

Pada tahun 2012, penelitian yang dilakukan oleh Hasup lee et al yaitu Hand Gesture Recognition using Blob Detection for Immersive Projection Display System.Pada penelitian ini pendeteksian warna kulit berdasarkan warna menggunakan ruang warna HSV.Untuk pengolahan morfologi citra menggunakan metode dilasi dan erosi.Disini peneliti menggunakan dua tangan dimana masing-masing gestur tangan memiliki instruksi yang berbeda.Untuk pengenalan gestur, penelitian ini menggunakan blob detection.

Perbedaan penelitian ini dari penelitian sebelumnya adalah dimana pada penelitian sebelumnya para peneliti hanya sekedar melakukan pelacakan untuk mendapatkan lokasi tangan,mengenali pola dan menghitung jumlah jari saja. namun penelitian yang akan dibuat bersamaan dengan teknologi Augmented Reality dimana gestur yang akan dikenali sistem akan menjadi sebuah perintah pada aplikasi Augmented Reality yang dibangun seperti pemilihan sceneobjek Warisan budayaKota Medan pada aplikasi.

Tabel 2.1. Penelitian Terdahulu

NO. Peneliti Judul Tahun

1. Nayana P B dan SanjevKubakaddi

Implementation of Hand Gesture Recognition Technique for HCI using OpenCV

2014

2. Hu Peng Application research on face detection technology based on OpenCV in mobile augmented reality

3. Rudy Hartanto dan Marcus Nurtiantono Aji

Perancangan Awal Antarmuka Gesture Tangan Berbasis Visual

2012

4. Sajjad Ur

Rahman, dan Zeenat Afroze, dan Mohammed Tareq

Hand Gesture Recognition Techniques For Human Computer Interaction Using OpenCV

2014

5. Amiraj Dhawan

dan Vipul Honrao

Implementation of Hand Detection based Techniques for Human Computer Interaction

2013

6. Hasup Lee, Yoshisuke Tateyama, dan Tetsuro Ogi

Hand Gesture Recognition using Blob Detection for Immersive Projection Display System

BAB 1

PENDAHULUAN

Bab pertama dari penelitian ini akan membahas perihal latar belakang penelitian, rumusan masalah, tujuan penelitian, batasan masalah, manfaat penelitian dan sistematika penulisan.

1.1. Latar Belakang

Kota Medan adalah kota ketiga terbesar di Indonesia setelah Jakarta dan Surabaya dan sebagai pintu gerbang utama untuk Indonesia bagian barat. Medan telah berkembang menjadi kota metropolitan sejak zaman kolonial Belanda melalui berbagai produk potensial perkebunan yang diekspor ke mancanegara.

Peninggalan belanda yang masih berdiri di Kota Medan dapat dilihat dari bangunan bersejarah yang sampai saat ini masih dilestarikan di Kota Medan. Bangunan bersejarah merupakan bagian dari objek wisata yang menarik di Kota Medan(Busral, 2016).

Beberapa bangunan tua yang sangat melekat dengan kota Medan maupun kebudayaan kota Medan adalah Masjid Raya, Istana Maimun, Tugu Air Tirtanadi yang berada di kawasan matsum dan Rumah Tjong A Fie, Kantor Pos, dan Kantor Lonsum yang berada di kawasan kesawan. Namun banyak dari masyarakat yang tidak terlalu mengetahui tentang bangunan yang telah menjadi warisan budaya kota mereka. Media promosi yuang menarik adalah salah satu upaya yang dapat digunakan untuk mengatasi masalah itu agar masyarakat lebih tertarik untuk mengetahui atau mempelajari warisan budaya mereka.

Dengan semakin pesatnya perkembangan teknologi saat ini, tentu kita tidak akan lepas dari penggunaan teknologi. Saat ini teknologi digunakan hampir disegala bidang mulai dari komunikasi, edukasi, promosi, informasi dan lainnya.salah satu teknologi yang dapat digunakan untuk pengenalan objek secara nyata yaitu Augmented reality(AR).

Augmented Reality (AR) menawarkan kita sebuah cara baru untuk berinteraksi dengan dunia fisik (atau nyata). Ini menciptakan sebuah versi modifikasi dari realitas kita, yang diperkaya dengan informasi digital (atau virtual), pada layar komputer atau alat mobile Anda (Gruber, J dan Grasset, R.2013). Teknologi ini sering digunakan untuk media edukasi seperti memperkenalkan objek baru kepada anak usia dini, media informasi seperti saat kita menyorotkan kamera pada papan nama restaurant maka akan muncul informasi dari restauran tersebut. Dan juga Pengolahan Citra Computer Vision.Computer Vision itu sendiri adalah salah satu cabang dari Bidang Ilmu Pengolahan Citra (Image Processing) yang memungkinkan komputer dapat melihat seperti manusia.Dengan vision tersebut komputer dapat mengambil keputusan, melakukan aksi, dan mengenali terhadap suatu objek.

Penelitian lain yang sebelumnya dilakukan yaitu mengimplementasikan teknikpengenalan gestur tangan untuk HCI menggunakan OpenCV.penelitian ini mampu menghitung berapa jumlah jari tangan yang dibaca sistem.pada penelitian lainnya pada tahun tahun 2014 ,Sajjad Ur Rahman, Zeenat Afroze dan Mohammed Tareq, Melakukan penelitian yang meneliti teknik untuk interaksi manusia-mesin berdasarkan pengenalan gestur menggunakan teknologi OpenCV. Lalu Pada tahun 2015,penelitian yang dilakukan oleh Hu Peng yang berjudul Application Research on Face Detection Technology based on OpenCV in Mobile Augmented Realitymembahastentang pengembangan dari teknologi deteksi wajah dan augmented reality mobile.

Pada kesempatan ini penulis akan menambahkan fitur dukungan yaitu fitur interaksi dimana pengguna dapat memilih sendiri secara langsungscene objek Warisan budayayang ingin dilihat secara spesifik dengan mengarahkan tangan pada webcam dengan jumlah jari tangan menggunakan libraryOpenCV. Berdasarkan latar belakang diatas, penulis mengajukan penelitian dengan judul “Pengenalan Jari Tangan Sebagai Interaksi Pada Augmented Reality Bangunan Heritage Kota Medan Kawasan Matsum Dan Kesawan”.

1.2. Rumusan Masalah

Penggunaan objek 3D dan animasi dalam media pengenalan heritage Kota Medan dirasakan belum lengkap tanpa adanya interaksi pengguna dengan komputer agar

pengguna lebih tertarik dalam mempelajari heritage Kota Medan.Oleh karena itu penulis ingin membuat sebuah aplikasi yang dapat menampilkan objek 3D Warisan budaya kota Medan secara nyatadengan dukungan fitur interaksi menggunakan OpenCV dalam pemilihan scene heritage agar pengguna lebih interaktif terhadap aplikasi.

1.3. Tujuan Penelitian

Mengenali jumlah jari tangan lalu menampilkanscene mengenai animasi dan objek 3Dbangunanheritage kota Medan.

1.4. Batasan Penelitian

Untuk membatasi cakupan permasalahan yang akan dibahas dalam studi ini, penulis membuat batasan :

1. Interaksiscene dilakukan dengan jumlah jari tangan. 2. Interaksi hanya untuk memilih2 scene saja

3. Pendeteksian jumlah jari tangan menggunakan webcam. 4. Waktu pembacaan jumlah jari tangan minimal 5 detik.

1.5. Manfaat Penelitian

Manfaat yang diperoleh dari penelitian ini adalah : 1. Sebagai media hiburan.

2. Sebagai media pengenalan warisan budaya kota Medan.

3. Membuat pengguna lebih interaktif pada aplikasi dengan pendeteksian tangan 4. Sebagai referensi untuk penelitian selanjutnya.

1.6. Metodologi Penelitian

Tahapan yang akan dilakukan pada pelaksanaan penelitian adalah sebagai berikut: 1. Studi Literatur

Dilakukannya tahap ini dengan guna untuk mencari, menggali dan mempelajari informasi yang berhubungan dengan augmented reality dan informasi tentang museum yang bersangkutan. Informasi didapat melalui buku-buku referensi

atau sumber- sumber yang berkaitan dengan augmented reality baik dari text book maupun internet .

2. Analisis

Pada tahap ini akan dilakukan analisis dari studi literatur terhadap yang dibutuhkan dalam pembangunan aplikasi pengenalan citra dari segihardware, software, teknik dan data yang dibutuhkan.

3. Perancangan

Pada tahap ini dilakukan perancangan arsitektur, pengumpulan data, dan perancangan antarmuka. Proses perancangan dilakukan berdasarkan hasil analisis studi literatur yang telah didapatkan.

4. Implementasi

Pada tahap ini dilakukan pengkodean untuk membangun aplikasi berdasarkan analisis dan perancangan yang telah dilakukan sebelumnya.

5. Pengujian

Pada tahap ini dilakukan pengujian terhadap aplikasi yang telah dibangun dengan mengarahkan tangan dengan jumlah jari tertentu ke webcam dan diproses oleh aplikasi untuk memunculkan objek 3D yang telah dibuat.

6. Dokumentasi dan Penyusunan Laporan

Pada tahap ini dilakukan dokumentasi dan penyusunan laporan hasil analisis dan implementasi teknologi augmented reality dalam menampilkan video informasi satwa.

1.7. Sistematika Penulisan

Sistematika penulisan pada skripsi ini terdiri dari lima bagian yaitu sebagai berikut : Bab 1: Pendahuluan

Bab ini berisi latar belakang dari penelitian yang dilaksanakan, rumusan masalah, tujuan penelitian, batasan masalah, manfaat penelitian, metodologi penelitian, serta sistematika penulisan.

Bab 2: Landasan Teori

Bab ini berisi teori-teori yang diperlukan untuk memahami permasalahanyang ada kaitannya dengan penelitian ini, baik itu dari bukumaupun referensi yang berasal dari internet.

Bab 3: Analisis dan Perancangan Sistem

Bab ini menjabarkan arsitektur umum, tiap langkah pre-processing yang dilakukan serta analisis dan penerapan teknologi OpenCVdalam mengenali jumlah jari tangan pengguna.

Bab 4: Implementasi dan Pengujian Sistem

Bab ini membahas tentang implementasi dari analisis dan perancangan yang telah disusun pada Bab 3 dan pengujian yang dilakukan untuk mengetahui apakah sistem yang telah dibangun sesuai dengan apa yang diinginkan.

Bab 5 : Kesimpulan dan Saran

Bab ini berisi tentang kesimpulan dari bab-bab sebelumnya serta hasil dari sistem yang telah dibangun dan saran untuk pengembangan pada penelitian selanjutnya.

ABSTRAK

Warisan budaya adalah benda atau atribut tidak berbenda yang merupakan jati diri suatu masyarakat atau kaum yang diwariskan dari generasi-generasi sebelumnya, yang dilestarikan untuk generasi-generasi yang akan datang. Warisan budaya dapat berupa benda seperti, monumen, artefak, dan kawasan, atau tak benda seperti, tradisi, bahasa, dan ritual.Berkembangannya teknologi yaitu salah satunya Augmented Realitydan juga teknologi yang dapat mengenali jumlah jari tangan dengan media webcam, maka teknologi seperti inidapat dimanfaatkandalam membangun aplikasi untuk menampilkan beberapa objek 3D yang telah dibuat dan dapat memilih beberapa objek tersebut dengan deteksi jari tangan yang diproses menggunakan OpenCV.Dalam penerapannya, objek yang berupa tangan akan dideteksi melalui webcam. tahap awal yang dilakukan adalah pemisahan objek yang diinginkan dari backgrounddengan bantuan metode warna Hsv dan metode contouruntukmendeteksi konturnya. Untuk penghitungan jari menggunakan metode convex hull dan convexity defects. Hasil dari pengenalan jumlah jari ini akandigunakan sebagai acuan dalam pemilihan scenepada animasi objek 3D. Hasil yang didapat dari penelitian ini menunjukkan bahwa jarak terbaik untuk mendapatkan hasil yang stabil yaitu pada jarak 30-50 cm dengan pencahayaan yang cukup terang dan jarak untuk pendeteksian marker pada Augmented Realityyaitu 2.5-5 meter dengan pengambilan sudut kemiringan kamera sebesar 40o. Kata kunci : augmented reality, jarak, sudut, marker, warisan budaya, OpenCV, tresholding, convexity defects, convex hull, objek 3D

FINGER RECOGNITION AS INTERACTION IN AUGMENTED REALITYOF MEDAN CULTURAL HERITAGE MATSUM AND KESAWAN REGION

ABSTRACT

The cultural heritage is object or non object’s attribute that is the identity of a community or people that inherited from previous generations, which is preserved for generations to come. Can be objects of cultural heritage, such as monuments, artifacts, and the region, or does not object, such as tradition, language, and ritual. technology Augmented Reality is one of them and also technology that can identify the number of fingers with media web-cam, then technology -technology like this can be used in building applications to display some 3D objects that have been created and can select multiple objects with finger detection is processed using OpenCV. In its application, the object in the form of hands will be detected through a web-cam. An initial step is the separation of the desired object from the background with the help of Hsv to detect contoursFor the calculation of the finger using the convex hull and convexity defects. The results of the calculation of fingers will be used as a reference in the election scene in the animated 3D objects. The results of this study indicate that the best distance to obtain stable results is at a distance of 30-50 cm by the lighting is bright enough and the distance to the detection marker on Augmented Reality is 2.5-5 meters by taking the angle of the camera by 400.

Keywords: augmented reality, tilt,distance, marker, cultural heritage, OpenCV, tresholding, convexity defects, convex hull, 3D objects

PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN

KAWASAN MATSUM DAN KESAWAN

SKRIPSI

RIDHO KURNIAWAN S 111402115

PROGRAM STUDI S1 TEKNOLOGI INFORMASI

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

MEDAN 2017

PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN

KAWASAN MATSUM DAN KESAWAN

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Sarjana Teknologi Informasi

RIDHO KURNIAWAN S 111402115

PROGRAM STUDI S1 TEKNOLOGI INFORMASI

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

MEDAN 2017

PERSETUJUAN

Judul :PENGENALAN JARI TANGAN SEBAGAI

INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN KAWASAN MATSUM DAN KESAWAN

Kategori : SKRIPSI

Nama : RIDHO KURNIAWAN S

Nomor Induk Mahasiswa : 111402115

Program Studi : SARJANA (S1) TEKNOLOGI INFORMASI

Fakultas : ILMU KOMPUTER DAN TEKNOLOGI

INFORMASI UNIVERSITAS SUMATERA UTARA Komisi Pembimbing :

Pembimbing 2 Pembimbing 1

Romi Fadillah Rahmat, B.Comp.Sc., Mohammad Fadly Syahputra, B.Sc.,

M.Sc M.Sc.IT

NIP. 19860303 200212 1 002 NIP. 198301292009121003

Diketahui/Disetujui oleh

Program Studi S1 Teknologi Informasi Ketua,

Muhammad Anggia Muchtar, S.T., MM.IT NIP. 19800110200801 1 010

PERNYATAAN

PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN

KAWASAN MATSUM DAN KESAWAN

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan, Februari 2017

Ridho Kurniawan S 111402115

UCAPAN TERIMA KASIH

Puji dan syukur penulis sampaikan kepada Allah SWT yang telah memberikan rahmat serta hidayah-Nya sehingga penulis dapat menyelesaikan skripsi ini sebagai syarat untuk memperoleh gelar Sarjana Teknologi Informasi.

Pertama, penulis ingin mengucapkan terima kasih kepada keluarga penulis, Ayahanda Bakhri Siregar, Ibunda Nurhaida, Abangda Yahdi Wanda Syahputra Siregar, Kakanda Gischa Rianda , Abangda Rizky Kurniawan Siregar, dan Adik penulis Fakhirah Munawwarah Zalfa Siregar, beserta seluruh keluarga besar yang selalu memberikan dukungan, motivasi, serta doa kepada penulis sehingga dapat menyelesaikan skripsi ini.

Penulis juga mengucapkan terima kasih kepada Bapak Mohammad Fadly Syahputra ,Bsc., M.Sc.IT selaku Dosen Pembimbing I dan Bapak Romi Fadillah Rahmat, B.Comp.Sc., M.Sc selaku Dosen Pembimbing II yang telah meluangkan waktunya untuk membimbing penulis dalam penelitian serta penulisan skripsi ini. Terima kasih penulis ucapkan kepada Ketua dan Sekretaris Program Studi S1 Teknologi Informasi, Dekan dan Wakil Dekan Fakultas Ilmu Komputer dan Teknologi Informasi, dan seluruh dosen serta staff pegawai di lingkungan Program Studi S1 Teknologi Informasi, yang telah membantu dan membimbing penulis selama masa perkuliahan.

Terima kasih penulis ucapkan kepada teman-teman penulis yang selalu memberikan dukungan dan semangat, Jaspen Anggastana Dalimunthe, Amrikahfi Ginting S, Atika Chan, Herdianto, M.Suhairi Arafat, M. Wahyudi, Indi Andira Butar-butar, Alvi Sri Andini, M. Iqbal Rizki, sahabat-sahabat, serta seluruh teman-temanangkatan 2011 dan teman-teman mahasiswa Teknologi Informasi lainnya. Semoga Allah SWT membalas segala kebaikan kalian.Penulis menyadari bahwa skripsi ini masih terdapat kekurangan.Oleh sebabitu, penulis mengharapkan kritik dan saran yang bersifat membangun.Akhir kata penulis ucapkan terima kasih.

ABSTRAK

Warisan budaya adalah benda atau atribut tidak berbenda yang merupakan jati diri suatu masyarakat atau kaum yang diwariskan dari generasi-generasi sebelumnya, yang dilestarikan untuk generasi-generasi yang akan datang. Warisan budaya dapat berupa benda seperti, monumen, artefak, dan kawasan, atau tak benda seperti, tradisi, bahasa, dan ritual.Berkembangannya teknologi yaitu salah satunya Augmented Realitydan juga teknologi yang dapat mengenali jumlah jari tangan dengan media webcam, maka teknologi seperti inidapat dimanfaatkandalam membangun aplikasi untuk menampilkan beberapa objek 3D yang telah dibuat dan dapat memilih beberapa objek tersebut dengan deteksi jari tangan yang diproses menggunakan OpenCV.Dalam penerapannya, objek yang berupa tangan akan dideteksi melalui webcam. tahap awal yang dilakukan adalah pemisahan objek yang diinginkan dari backgrounddengan bantuan metode warna Hsv dan metode contouruntukmendeteksi konturnya. Untuk penghitungan jari menggunakan metode convex hull dan convexity defects. Hasil dari pengenalan jumlah jari ini akandigunakan sebagai acuan dalam pemilihan scenepada animasi objek 3D. Hasil yang didapat dari penelitian ini menunjukkan bahwa jarak terbaik untuk mendapatkan hasil yang stabil yaitu pada jarak 30-50 cm dengan pencahayaan yang cukup terang dan jarak untuk pendeteksian marker pada Augmented Realityyaitu 2.5-5 meter dengan pengambilan sudut kemiringan kamera sebesar 40o. Kata kunci : augmented reality, jarak, sudut, marker, warisan budaya, OpenCV, tresholding, convexity defects, convex hull, objek 3D

FINGER RECOGNITION AS INTERACTION IN AUGMENTED REALITYOF MEDAN CULTURAL HERITAGE MATSUM AND KESAWAN REGION

ABSTRACT

The cultural heritage is object or non object’s attribute that is the identity of a community or people that inherited from previous generations, which is preserved for generations to come. Can be objects of cultural heritage, such as monuments, artifacts, and the region, or does not object, such as tradition, language, and ritual. technology Augmented Reality is one of them and also technology that can identify the number of fingers with media web-cam, then technology -technology like this can be used in building applications to display some 3D objects that have been created and can select multiple objects with finger detection is processed using OpenCV. In its application, the object in the form of hands will be detected through a web-cam. An initial step is the separation of the desired object from the background with the help of Hsv to detect contoursFor the calculation of the finger using the convex hull and convexity defects. The results of the calculation of fingers will be used as a reference in the election scene in the animated 3D objects. The results of this study indicate that the best distance to obtain stable results is at a distance of 30-50 cm by the lighting is bright enough and the distance to the detection marker on Augmented Reality is 2.5-5 meters by taking the angle of the camera by 400.

Keywords: augmented reality, tilt,distance, marker, cultural heritage, OpenCV, tresholding, convexity defects, convex hull, 3D objects

DAFTAR ISI

Abstract ii

Daftar Isi iii

Daftar Tabel vi

Daftar Gambar vii

Bab 1 Pendahuluan 1

1.1Latar Belakang 1

1.2 Rumusan Masalah 2

1.3 Tujuan Penelitian 3

1.4 Batasan Masalah 3

1.5 Manfaat Penelitian 3

1.6 Metodologi Penelitian 3

1.7 Sistematika Penulisan 4

Bab 2 Landasan Teori 6

2.1Computer Vision 6

2.1.1 Image Acquisition 7

2.1.2 Image Processing 7

2.1.3 Image Analysis 8

2.1.4 Image Recognition 8

2.2 Augmented Reality 8

2.3Citra Digital 9

2.4Pengolahan Citra Digital 10

2.4.1 Grayscalling 10

2.4.2 Tresholding 11

2.4.3 Erosion 12

2.4.4 Dilation 12

2.4.5 Contour 13

2.4.6 Convex-Hull 14

2.4.7 Convexity Defects 15

2.6Unity 3D 17

2.7 C# 17

2.8Penelitian Terdahulu 18

BAB 3 Analisis Dan Perancangan Sistem 21

3.1Data Yang Digunakan 21

3.2Analisis Sistem 21

3.2.1Skin Detection 22

3.2.1.1 Konversi Rgb Ke HSV 23

3.2.1.2 Atur Range HSV 23

3.2.1.3 Tresholding 24

3.2.2 Perbaikan Citra 24

3.2.2.1 Erosion 24

3.2.2.2 Dilation 25

3.2.2.3 Median Blur 26

3.2.3 Ekstraksi Fitur 26

3.2.3.1 Contour 26

3.2.3.2 Convex-Hull 27

3.2.3.3 Convexity Defects 28

3.3Use Case Diagram 29

3.4Diagram Aktivitas 30

3.5Perancangan Antarmuka 31

3.5.1 Rancangan Halaman Splash 32

3.5.2 Rancangan Pemilihan Scene 32

3.5.3 Rancangan Halaman Scene 33

BAB 4 IMPLEMENTASI DAN PENGUJIAN SISTEM 35

4.1Konfigurasi Sistem 35

4.1.1 Konfigurasi Perangkat Keras 35

4.1.2 Konfigurasi Perangkat Lunak 35

4.2Tampilan Aplikasi 36

4.2.1 Tampilan Halaman Splash 36

4.2.3 Tampilan Halaman Scene 37

4.3Pengujian Pengenalan Tangan OpenCV 38

4.4Pengujian Marker Augmented Reality 44

4.4.1 Pengujian Jarak Pendeteksian 44 4.4.2 Pengujian Sudut Kemiringan Pendeteksian 44

BAB 5 Kesimpulan Dan Saran 46

5.1 Kesimpulan 46

5.2 Saran 46

DAFTAR TABEL

Tabel 2.1. Penelitian Terdahulu 19

Tabel 4.1. Konfigurasi Perangkat Keras 35

Tabel 4.2. Konfigurasi Perangkat Lunak 35

Tabel 4.3. Pengujian Skenario 1 38

Tabel 4.4. Pengujian Skenario 2 40

Tabel 4.5. Pengujian Skenario 3 41

Tabel 4.6. Pengujian Skenario 4 42

Tabel 4.7. Pengujian Jarak Deteksi Marker 44

FINGER RECOGNITION AS INTERACTION IN AUGMENTED REALITYOF MEDAN CULTURAL HERITAGE MATSUM AND KESAWAN REGION

ABSTRACT

The cultural heritage is object or non object’s attribute that is the identity of a community or people that inherited from previous generations, which is preserved for generations to come. Can be objects of cultural heritage, such as monuments, artifacts, and the region, or does not object, such as tradition, language, and ritual. technology Augmented Reality is one of them and also technology that can identify the number of fingers with media web-cam, then technology -technology like this can be used in building applications to display some 3D objects that have been created and can select multiple objects with finger detection is processed using OpenCV. In its application, the object in the form of hands will be detected through a web-cam. An initial step is the separation of the desired object from the background with the help of Hsv to detect contoursFor the calculation of the finger using the convex hull and convexity defects. The results of the calculation of fingers will be used as a reference in the election scene in the animated 3D objects. The results of this study indicate that the best distance to obtain stable results is at a distance of 30-50 cm by the lighting is bright enough and the distance to the detection marker on Augmented Reality is 2.5-5 meters by taking the angle of the camera by 400.

Keywords: augmented reality, tilt,distance, marker, cultural heritage, OpenCV, tresholding, convexity defects, convex hull, 3D objects

DAFTAR ISI

Abstract ii

Daftar Isi iii

Daftar Tabel vi

Daftar Gambar vii

Bab 1 Pendahuluan 1

1.1 Latar Belakang 1

1.2 Rumusan Masalah 2

1.3 Tujuan Penelitian 3

1.4 Batasan Masalah 3

1.5 Manfaat Penelitian 3

1.6 Metodologi Penelitian 3

1.7 Sistematika Penulisan 4

Bab 2 Landasan Teori 6

2.1 Computer Vision 6

2.1.1 Image Acquisition 7

2.1.2 Image Processing 7

2.1.3 Image Analysis 8

2.1.4 Image Recognition 8

2.2 Augmented Reality 8

2.3 Citra Digital 9

2.4 Pengolahan Citra Digital 10

2.4.1 Grayscalling 10

2.4.2 Tresholding 11

2.4.3 Erosion 12

2.4.4 Dilation 12

2.4.5 Contour 13

2.4.6 Convex-Hull 14

2.4.7 Convexity Defects 15

2.6 Unity 3D 17

2.7 C# 17

2.8 Penelitian Terdahulu 18

BAB 3 Analisis Dan Perancangan Sistem 21

3.1 Data Yang Digunakan 21

3.2 Analisis Sistem 21

3.2.1Skin Detection 22

3.2.1.1 Konversi Rgb Ke HSV 23

3.2.1.2 Atur Range HSV 23

3.2.1.3 Tresholding 24

3.2.2 Perbaikan Citra 24

3.2.2.1 Erosion 24

3.2.2.2 Dilation 25

3.2.2.3 Median Blur 26

3.2.3 Ekstraksi Fitur 26

3.2.3.1 Contour 26

3.2.3.2 Convex-Hull 27

3.2.3.3 Convexity Defects 28

3.3 Use Case Diagram 29

3.4 Diagram Aktivitas 30

3.5 Perancangan Antarmuka 31

3.5.1 Rancangan Halaman Splash 32

3.5.2 Rancangan Pemilihan Scene 32

3.5.3 Rancangan Halaman Scene 33

BAB 4 IMPLEMENTASI DAN PENGUJIAN SISTEM 35

4.1Konfigurasi Sistem 35

4.1.1 Konfigurasi Perangkat Keras 35

4.1.2 Konfigurasi Perangkat Lunak 35

4.2Tampilan Aplikasi 36

4.2.1 Tampilan Halaman Splash 36

4.2.3 Tampilan Halaman Scene 37 4.3 Pengujian Pengenalan Tangan OpenCV 38 4.4 Pengujian Marker Augmented Reality 44

4.4.1 Pengujian Jarak Pendeteksian 44

4.4.2 Pengujian Sudut Kemiringan Pendeteksian 44

BAB 5 Kesimpulan Dan Saran 46

5.1 Kesimpulan 46

5.2 Saran 46

DAFTAR TABEL

Tabel 2.1. Penelitian Terdahulu 19 Tabel 4.1. Konfigurasi Perangkat Keras 35 Tabel 4.2. Konfigurasi Perangkat Lunak 35 Tabel 4.3. Pengujian Skenario 1 38 Tabel 4.4. Pengujian Skenario 2 40 Tabel 4.5. Pengujian Skenario 3 41 Tabel 4.6. Pengujian Skenario 4 42 Tabel 4.7. Pengujian Jarak Deteksi Marker 44 Tabel 4.8. Pengujian Sudut Kemiringan Deteksi Marker 44

DAFTAR GAMBAR

2.1 Citra Hasil Segmentasi 12

2.2 Gambar Sebelum Erosi Dan Setelah Operasi Erosi 12 2.3 Gambar Sebelum Dilasi Dan Setelah Operasi Dilasi 13 2.4 Contour 14

2.5 Convex-Hull 14

2.6 Titik Awal Dan Titik Akhir Convexity Defects 15

2.7 Area Convexity Defects 16

3.1 Arsitektur Umum 22

3.2 Hasil Dari Contour 27

3.3 Hasil Dari Convex-Hull 28

3.4 Hasil Dari Convexity Defects 29

3.5 Use Case Diagram 29

3.6 Activity Diagram 30

3.7 Rancangan Halaman Splash 31

3.8 Rancangan Halaman Pemilihan Scene 32

3.9 Rancangan Halaman Scene 33

4.1 Tampilan Halaman Splash 36

4.2 Tampilan Halaman Pemilihan Scene 37

4.3 Halaman Scene Kesawan 37

4.4 Halaman Scene Kota Matsum 38 4.5 Pengujian Skenario 1 Jumlah Jari 1 39 4.6 Pengujian Skenario 1 Jumlah Jari 2 39 4.7 Pengujian Skenario 2 Jumlah Jari 1 40 4.8 Pengujian Skenario 2 Jumlah Jari 2 40

4.9 Pengujian Skenario 3 42