Pengenalan Jari Tangan Sebagai Interaksi Pada Augmented Reality Bangunan Heritage Kota Medan Kawasan Matsum dan Kesawan

PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED
REALITY BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN

SKRIPSI

RIDHO KURNIAWAN S
111402115

PROGRAM STUDI S1 TEKNOLOGI INFORMASI
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
MEDAN
2017

Universitas Sumatera Utara

PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED
REALITY BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN


SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Sarjana
Teknologi Informasi

RIDHO KURNIAWAN S
111402115

PROGRAM STUDI S1 TEKNOLOGI INFORMASI
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
MEDAN
2017

Universitas Sumatera Utara

2

PERSETUJUAN


Judul

:PENGENALAN JARI TANGAN SEBAGAI
INTERAKSI PADA AUGMENTED REALITY
BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN

Kategori

: SKRIPSI

Nama

: RIDHO KURNIAWAN S

Nomor Induk Mahasiswa

: 111402115

Program Studi


: SARJANA (S1) TEKNOLOGI INFORMASI

Fakultas

: ILMU KOMPUTER DAN TEKNOLOGI
INFORMASI UNIVERSITAS SUMATERA UTARA

Komisi Pembimbing

:

Pembimbing 2

Pembimbing 1

Romi Fadillah Rahmat, B.Comp.Sc.,

Mohammad Fadly Syahputra, B.Sc.,


M.Sc

M.Sc.IT

NIP. 19860303 200212 1 002

NIP. 198301292009121003

Diketahui/Disetujui oleh
Program Studi S1 Teknologi Informasi
Ketua,

Muhammad Anggia Muchtar, S.T., MM.IT
NIP. 19800110200801 1 010

Universitas Sumatera Utara

3

PERNYATAAN


PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED
REALITY BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa
kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan,

Februari 2017

Ridho Kurniawan S
111402115

Universitas Sumatera Utara

4


UCAPAN TERIMA KASIH

Puji dan syukur penulis sampaikan kepada Allah SWT yang telah memberikan rahmat
serta hidayah-Nya sehingga penulis dapat menyelesaikan skripsi ini sebagai syarat
untuk memperoleh gelar Sarjana Teknologi Informasi.
Pertama, penulis ingin mengucapkan terima kasih kepada keluarga penulis,
Ayahanda Bakhri Siregar, Ibunda Nurhaida, Abangda Yahdi Wanda Syahputra
Siregar, Kakanda Gischa Rianda , Abangda Rizky Kurniawan Siregar, dan Adik
penulis Fakhirah Munawwarah Zalfa Siregar, beserta seluruh keluarga besar yang
selalu memberikan dukungan, motivasi, serta doa kepada penulis sehingga dapat
menyelesaikan skripsi ini.
Penulis juga mengucapkan terima kasih kepada Bapak Mohammad Fadly
Syahputra ,Bsc., M.Sc.IT selaku Dosen Pembimbing I dan Bapak Romi Fadillah
Rahmat, B.Comp.Sc., M.Sc selaku Dosen Pembimbing II yang telah meluangkan
waktunya untuk membimbing penulis dalam penelitian serta penulisan skripsi ini.
Terima kasih penulis ucapkan kepada Ketua dan Sekretaris Program Studi S1
Teknologi Informasi, Dekan dan Wakil Dekan Fakultas Ilmu Komputer dan
Teknologi Informasi, dan seluruh dosen serta staff pegawai di lingkungan Program
Studi S1 Teknologi Informasi, yang telah membantu dan membimbing penulis selama

masa perkuliahan.
Terima kasih penulis ucapkan kepada teman-teman penulis yang selalu
memberikan dukungan dan semangat, Jaspen Anggastana Dalimunthe, Amrikahfi
Ginting S, Atika Chan, Herdianto, M.Suhairi Arafat, M. Wahyudi, Indi Andira Butarbutar, Alvi Sri Andini, M. Iqbal Rizki, sahabat-sahabat, serta seluruh temantemanangkatan 2011 dan teman-teman mahasiswa Teknologi Informasi lainnya.
Semoga Allah SWT membalas segala kebaikan kalian.Penulis menyadari bahwa
skripsi ini masih terdapat kekurangan.Oleh sebabitu, penulis mengharapkan kritik dan
saran yang bersifat membangun.Akhir kata penulis ucapkan terima kasih.

Universitas Sumatera Utara

i

ABSTRAK

Warisan budaya adalah benda atau atribut tidak berbenda yang merupakan jati diri
suatu masyarakat atau kaum yang diwariskan dari generasi-generasi sebelumnya, yang
dilestarikan untuk generasi-generasi yang akan datang. Warisan budaya dapat berupa
benda seperti, monumen, artefak, dan kawasan, atau tak benda seperti, tradisi, bahasa,
dan ritual.Berkembangannya teknologi yaitu salah satunya Augmented Realitydan juga
teknologi yang dapat mengenali jumlah jari tangan dengan media webcam, maka

teknologi

seperti

inidapat

dimanfaatkandalam

membangun

aplikasi

untuk

menampilkan beberapa objek 3D yang telah dibuat dan dapat memilih beberapa objek
tersebut dengan deteksi jari tangan yang diproses menggunakan OpenCV.Dalam
penerapannya, objek yang berupa tangan akan dideteksi melalui webcam. tahap awal
yang dilakukan adalah pemisahan objek yang diinginkan dari backgrounddengan
bantuan metode warna Hsv dan metode contouruntukmendeteksi konturnya. Untuk
penghitungan jari menggunakan metode convex hull dan convexity defects. Hasil dari

pengenalan jumlah jari ini akandigunakan sebagai acuan dalam pemilihan scenepada
animasi objek 3D. Hasil yang didapat dari penelitian ini menunjukkan bahwa jarak
terbaik untuk mendapatkan hasil yang stabil yaitu pada jarak 30-50 cm dengan
pencahayaan yang cukup terang dan jarak untuk pendeteksian marker pada Augmented
Realityyaitu 2.5-5 meter dengan pengambilan sudut kemiringan kamera sebesar 40o.

Kata kunci
: augmented reality, jarak, sudut, marker, warisan budaya, OpenCV,
tresholding, convexity defects, convex hull, objek 3D

Universitas Sumatera Utara

ii

FINGER RECOGNITION AS INTERACTION IN AUGMENTED REALITYOF
MEDAN CULTURAL HERITAGE MATSUM AND KESAWAN REGION
ABSTRACT

The cultural heritage is object or non object’s attribute that is the identity of a
community or people that inherited from previous generations, which is preserved for

generations to come. Can be objects of cultural heritage, such as monuments, artifacts,
and the region, or does not object, such as tradition, language, and ritual. technology
Augmented Reality is one of them and also technology that can identify the number of
fingers with media web-cam, then technology -technology like this can be used in
building applications to display some 3D objects that have been created and can select
multiple objects with finger detection is processed using OpenCV. In its application,
the object in the form of hands will be detected through a web-cam. An initial step is
the separation of the desired object from the background with the help of Hsv to detect
contoursFor the calculation of the finger using the convex hull and convexity defects.
The results of the calculation of fingers will be used as a reference in the election
scene in the animated 3D objects. The results of this study indicate that the best
distance to obtain stable results is at a distance of 30-50 cm by the lighting is bright
enough and the distance to the detection marker on Augmented Reality is 2.5-5 meters
by taking the angle of the camera by 400.
Keywords: augmented reality, tilt,distance, marker, cultural heritage, OpenCV,
tresholding, convexity defects, convex hull, 3D objects

Universitas Sumatera Utara

iii


DAFTAR ISI

Abstract

ii

Daftar Isi

iii

Daftar Tabel

vi

Daftar Gambar

vii

Bab 1

Pendahuluan

1

1.1 Latar Belakang

1

1.2 Rumusan Masalah

2

1.3 Tujuan Penelitian

3

1.4 Batasan Masalah

3

1.5 Manfaat Penelitian

3

1.6 Metodologi Penelitian

3

1.7 Sistematika Penulisan

4

Bab 2

Landasan Teori
2.1 Computer Vision

6
6

2.1.1 Image Acquisition

7

2.1.2 Image Processing

7

2.1.3 Image Analysis

8

2.1.4 Image Recognition

8

2.2 Augmented Reality

8

2.3 Citra Digital

9

2.4 Pengolahan Citra Digital

10

2.4.1 Grayscalling

10

2.4.2 Tresholding

11

2.4.3 Erosion

12

2.4.4 Dilation

12

2.4.5 Contour

13

2.4.6 Convex-Hull

14

2.4.7 Convexity Defects

15

2.5 OpenCV

16

Universitas Sumatera Utara

iv

BAB 3

2.6 Unity 3D

17

2.7 C#

17

2.8 Penelitian Terdahulu

18

Analisis Dan Perancangan Sistem

21

3.1 Data Yang Digunakan

21

3.2 Analisis Sistem

21

3.2.1Skin Detection

22

3.2.1.1 Konversi Rgb Ke HSV

23

3.2.1.2 Atur Range HSV

23

3.2.1.3 Tresholding

24

3.2.2 Perbaikan Citra

24

3.2.2.1 Erosion

24

3.2.2.2 Dilation

25

3.2.2.3 Median Blur

26

3.2.3 Ekstraksi Fitur

26

3.2.3.1 Contour

26

3.2.3.2 Convex-Hull

27

3.2.3.3 Convexity Defects

28

3.3 Use Case Diagram

29

3.4 Diagram Aktivitas

30

3.5 Perancangan Antarmuka

31

3.5.1 Rancangan Halaman Splash

32

3.5.2 Rancangan Pemilihan Scene

32

3.5.3 Rancangan Halaman Scene

33

BAB 4 IMPLEMENTASI DAN PENGUJIAN SISTEM

35

4.1 Konfigurasi Sistem

35

4.1.1 Konfigurasi Perangkat Keras

35

4.1.2 Konfigurasi Perangkat Lunak

35

4.2 Tampilan Aplikasi

36

4.2.1 Tampilan Halaman Splash

36

4.2.2 Tampilan Halaman Pemilian Scene

36

Universitas Sumatera Utara

v

4.2.3 Tampilan Halaman Scene

37

4.3 Pengujian Pengenalan Tangan OpenCV

38

4.4 Pengujian Marker Augmented Reality

44

4.4.1 Pengujian Jarak Pendeteksian

44

4.4.2 Pengujian Sudut Kemiringan Pendeteksian

44

BAB 5 Kesimpulan Dan Saran

46

5.1 Kesimpulan

46

5.2 Saran

46

Daftar Pustaka

48

Universitas Sumatera Utara

vi

DAFTAR TABEL

Tabel 2.1. Penelitian Terdahulu

19

Tabel 4.1. Konfigurasi Perangkat Keras

35

Tabel 4.2. Konfigurasi Perangkat Lunak

35

Tabel 4.3. Pengujian Skenario 1

38

Tabel 4.4. Pengujian Skenario 2

40

Tabel 4.5. Pengujian Skenario 3

41

Tabel 4.6. Pengujian Skenario 4

42

Tabel 4.7. Pengujian Jarak Deteksi Marker

44

Tabel 4.8. Pengujian Sudut Kemiringan Deteksi Marker

44

Universitas Sumatera Utara

vii

DAFTAR GAMBAR

2.1 Citra Hasil Segmentasi

12

2.2 Gambar Sebelum Erosi Dan Setelah Operasi Erosi

12

2.3 Gambar Sebelum Dilasi Dan Setelah Operasi Dilasi

13

2.4 Contour 14
2.5 Convex-Hull

14

2.6 Titik Awal Dan Titik Akhir Convexity Defects

15

2.7 Area Convexity Defects

16

3.1 Arsitektur Umum

22

3.2 Hasil Dari Contour

27

3.3 Hasil Dari Convex-Hull

28

3.4 Hasil Dari Convexity Defects

29

3.5 Use Case Diagram

29

3.6 Activity Diagram

30

3.7 Rancangan Halaman Splash

31

3.8 Rancangan Halaman Pemilihan Scene

32

3.9 Rancangan Halaman Scene

33

4.1 Tampilan Halaman Splash

36

4.2 Tampilan Halaman Pemilihan Scene

37

4.3 Halaman Scene Kesawan

37

4.4 Halaman Scene Kota Matsum

38

4.5 Pengujian Skenario 1 Jumlah Jari 1

39

4.6 Pengujian Skenario 1 Jumlah Jari 2

39

4.7 Pengujian Skenario 2 Jumlah Jari 1

40

4.8 Pengujian Skenario 2 Jumlah Jari 2

40

4.9 Pengujian Skenario 3

42

4.10 Pengujian Skenario 4

43

Universitas Sumatera Utara