Kontrol Gerakan Objek 3D Augmented Reality Berbasis Titik Fitur Wajah dengan POSIT

  16 J NTETI , Vol. 4, No.1, Februari2015

  Proses estimasi pose (pose estimation) mempunyai tingkatan komputasi yang lebih sulit dan krusial dalam menentukan jumlah dan penempatan titik fitur wajah, transformasi model objek 3D serta akurasinya, dibandingkan dengan proses deteksi wajah (face detection) maupun pengenalan wajah (face recognition). Selain akurasi, proses

  Jurusan Sistem Komputer, Institut Bisnis dan Informatika Stikom Surabaya, Jln. Raya Kedung Baruk 98 Surabaya 60298

  Metode yang dikenalkan oleh Tsai sangat berguna ketika panjang fokus (focal length) dari kamera, distorsi lensa dan pusat gambar tidak diketahui. Pada metode Lowe dan Yuan mempunyai dua kelemahan yang cukup signifikan, yaitu: pertama, sebuah perkiraan atau pendekatan pose harus dimulai dengan proses iterasi. Kelemahan kedua adalah setiap langkah proses iterasi diperlukan pseudoinverse matrix Jacobian dengan dimensi 2N x 6 pada metode Lowe dan N x 6 untuk Yuan.

  Komputasi posisi dan orientasi dari sebuah model objek dengan menggunakan konfigurasi geometrik titik fitur wajah mempunyai tahapan penting seperti proses kalibrasi, kartografi, pelacakan dan pengenalan objek. Beberapa metode sistem komputasi estimasi pose telah dikenalkan oleh Tsai [5], Lowe dan Yuan.

  iterasinya. Metode POSIT akan mengekstraksi pose objek dengan pendekatan model 3D secara antroprometrik (rigid anthropometric) yang berkorespondensi dengan titik fitur image wajah.

  looping

  sampai dua puluh lima kali lebih cepat dari pada metode Yuan [3] maupun metode Lowe [4] karena pada metode POSIT sudah tidak diperlukan lagi proses inisialisasi estimasi pose awal yang dilakukan secara manual dan inverse matrik dalam

  ITerations ) mempunyai komputasi sistem estimasi pose bisa

  Berdasarkan penelitian dari Daniel F. DeMenthon [2], metode POSIT (Pose from Orthography and Scaling with

  model objek 3D dapat menyebabkan kehilangan frame pelacakan dalam suatu scene.

  image wajah 2D aktor yang berfungsi sebagai landmark dari

  fitting antara image wajah 2D dan model objek 3D juga perlu diperhitungkan karena pergerakan terlalu cepat dari

  recovery

  3D pada sumbu koordinat [1].

  Kontrol Gerakan Objek 3D Augmented Reality Berbasis

  Dalam dunia computer vision maupun Augmented Reality, proses deteksi dan pengenalan wajah dapat dilakukan dalam berbagai bidang, diantaranya: deteksi dan pengenalan bentuk fitur wajah, gerak wajah, gerak mata, gerak dan bentuk mulut sampai dengan proses deteksi dan pengenalan ekspresi dari wajah seseorang. Masalah utama dalam proses deteksi dan pengenalan berbasis wajah manusia diantaranya adalah kebutuhan sistem untuk mendekati waktu nyata (real time), pelacakan (tracking) gerak titik fitur wajah serta bagaimana melakukan kontrol dan menampilkan image 2D maupun objek

  Deteksi yang berbasiskan titik fitur wajah merupakan salah satu model markerless yang paling banyak menjadi perhatian oleh para praktisi dan peneliti. Dimana proses deteksi dan pengenalan yang berbasiskan titik fitur wajah dapat diterapkan dalam berbagai bidang kehidupan.

  menghasilkan interaksi antara komputer dan pengguna lebih alami dan intuitif dibandingkan dengan model marker.

  ENDAHULUAN Markerless dalam Augmented Reality (AR) bertujuan untuk

  I. P

  Kata Kunci— Augmented Reality, Titik Fitur Wajah, POSIT, Objek 3D

  3D diproyeksikan secara ortografi dari titik-titik fitur wajah dengan pen-skalaan, sehingga perubahan jarak antara wajah dan webcam berbanding lurus dengan perubahan besar dan kecilnya objek 3D. Langkah berikutnya dilakukan proses iterasi empat sampai lima kali untuk mencari faktor kesalahan terkecil sehingga didapatkan pose terbaik.

  Metode markerless yang diterapkan pada penelitian ini menggunakan titik-titik fitur wajah supaya hasilnya lebih robust karena objek kepala tidak menghasilkan cahaya sehingga mengandalkan titik-titik fitur wajah. Permasalahan utama pada bidang penelitian ini adalah bagaimana proses pengontrolan pergerakan objek 3D tersebut tidak mengalami anomali seperti rel kereta api, semakin jauh mata memandang seakan-akan jarak antara kedua rel kereta api semakin menyempit. Penelitian ini menggunakan metode POSIT ( Pose from Ortography and Scale with ITeration), posisi dan orientasi objek

  Augmented Reality (AR) adalah sebuah teknik dalam bidang ilmu komputer yang mengkombinasikan antara kondisi dunia nyata dengan data hasil komputasi dari sebuah komputer dalam bentuk grafis 2D maupun 3D. Pada penelitian ini, dibahas sebuah metode dan implementasi aplikasi di lingkungan Augmented Reality secara markerless. Pada metode markerless proses interaksi antara manusia dan komputer lebih alami dan intuitif dibandingkan dengan metode berbasis marker.

  Intisari —

  3D objects were projected in orthographic from facial feature points with scaling, so the change in the distance between the face and the webcam were proportional to the big - small changes of 3D objects. The next step was iteration process carried out four to five times to look for the smallest error factor to obtain the best pose.

  1 Abstract— Augmented Reality (AR) is a technique in computer science that combines real world conditions with the computer computation results in the form of 2D or 3D graphics. In this study, a method and application implementation in Augmented Reality environment with markerless was discussed. In the markerless technique, interaction process between humans and computers becomes more natural and intuitive than the marker based techniques. Markerless techniques applied in this study used facial feature points so that the result is more robust for the head object does not produce light. The main problem in this area of research is how the process of controlling the 3D object movement does not experience anomalies such as railroad phenomenon, where the the eyes catch as if the distance between the two railroads narrower at the farther view. This study used POSIT (Pose from Orthography and Scale with ITeration), where the position and orientation of the

  

Titik Fitur Wajah dengan POSIT

Heri Pratikno

  INDONESIA (tlp: 031-8721731; e-mail: heri@stikom.edu) J NTETI , Vol.4, No.1, Februari 2015

  17

  dan titik koodinat nyata P= (p

  pelacakan gambar dalam image (True Positive) dengan tingkat kesalahan (False Positive) yang rendah.

  1) Robust , mempunyai tingkat deteksi tinggi untuk

  Deteksi wajah, merupakan langkah pertama dalam proses identifikasi, klasifikasi image dilakukan berdasarkan nilai dari sebuah fitur, penggunaan fitur dilakukan karena pemrosesan fitur berlangsung lebih cepat dibandingkan pemrosesan image per piksel. Tiga tujuan utama dari algoritma Viola-Jones adalah sebagai berikut: komputasi fitur (feature computation), seleksi fitur (feature selection) dan ketepatan waktu nyata (real timeliness). Kelebihan deteksi wajah secara real time dengan menggunakan algoritma Viola-Jones diantaranya:

  Algoritma Viola-Jones ditemukan oleh Paul Viola dan Michael Jones [8], algoritma Viola-Jones merupakan algoritma yang paling banyak digunakan untuk mendeteksi wajah. Proses pendeteksian wajah dilakukan dengan mengklasifikasikan sebuah gambar melalui sebuah pengklasifikasi yang dibentuk dari data latih. Data latih yang digunakan oleh algoritma ini berjumlah 5000 image wajah dan 9400 image bukan wajah sehingga menghasilkan akurasi sistem sebesar 95% dengan data positif salah sebesar 1 : 14.084.

  C. Metode Viola-Jones

  Proyeksi weak perspective ini valid jika titik – titik koordinat dalam ruang nyata itu harus cukup jauh dari kamera, model objek kepala 3D ditransformasikan terlebih dulu dengan nilai rotasi dan translasi tertentu setelah itu baru diproyeksikan ke bidang image 2D.

  Gbr. 2 Proyeksi perspective geometry, a. Sinar pada Titik p, b. View dari Sumbu Y dan c. View dari Sumbu X

  persamaan (1) : = , = ( ) (1)

  3 ) dapat dinyatakan seperti pada

  2 , p

  1 , p

  , v)

  Heri Pratikno: Kontrol Gerakan Objek 3D . . .

  Hubungan antara titik koordinat pada ruang nyata (3D) dan titik koordinat korespondensinya pada image (2D) merupakan hasil proyeksi dari ruang nyata ke bidang image. Gbr. 2 menunjukkan model proyeksi ortografik (weak perspective), merupakan model proyeksi 3D ke 2D yang banyak digunakan karena kesederhanaan dalam penggunaannya. Titik-titik di ruang nyata yang diproyeksikan ke bidang image ini tergantung pada jarak dari pusat proyeksi f (focal length). Hubungan antara titik koordinat bidang image (u

  Gbr. 1 Lingkungan realitas.

  Reality merupakan suatu realitas yang termediasi (mediated reality ), sebagaimana ditunjukkan seperti pada Gbr. 1.

  Teknologi Augmented Reality menambah, melengkapi atau meningkatkan realitas yang ada, dengan menambahan elemen- elemen hasil komputasi yang didapatkan dari masukan data yang bisa berupa audio, video, grafis maupun data GPS. Sedangkan Virtual Reality (VR) akan menggantikan dunia nyata atau realitas yang ada untuk disimulasikan secara penuh di komputer dalam bentuk grafis, sehingga pengguna akan merasakan dalam lingkungan yang sintetik. Dalam relasi konsep yang lebih umum Augmented Reality dan Virtual

  bidang komunikasi dan informasi yang meletakkan (overlay) benda maya dua dimensi maupun tiga dimensi ke dalam dunia nyata tiga dimensi. Sehingga suatu benda yang sebelumnya hanya dapat dilihat secara dua dimensi, dapat muncul sebagai objek virtual yang digabungkan dalam lingkungan nyata secara real time.

  A. Augmented Reality Augmented Reality (AR) merupakan kombinasi teknologi

  3D

  II. K ONTROL G ERAKAN O BJEK

  kontak fisik secara langsung antara pengguna dan input sensor komputer sehingga interaksi antara manusia dan komputer lebih alami dan intuitif.

  markerless . Dimana proses komputasinya tidak diperlukan

  Penelitian ini bertujuan untuk memberikan metode alternatif dalam penerapan sistem interaksi antara manusia dan komputer dalam lingkungan Augmented Reality secara

B. Proyeksi 3D ke 2D

  ISSN 2301 - 415 Dengan N adalah jumlah titik fitur yang harus ditemukan, hal ini menjadikan sebuah operasi komputasional yang lebih rumit dan waktunya lebih lama. Metode Fully Projective [6] merupakan pengembangan dari metode Lowe dan berhasil diimplementasikan dalam penelitian [7] dengan hasil penelitian sebagai berikut: tingkat kesalahan rotasi rata-rata sebesar 4° dan tingkat kesalahan translasinya rata-rata sebesar 5 cm.

E. Metode POSIT

  , T = &

  ). Pada proyeksi perspektif sebuah titik model 3D (X, Y, Z) akan diproyeksikan pada image plane dengan rumus (2) :

  ′

  ,

  ′

  yang mempunyai koordinat image (

  i

  telah diketahui dan disimpan dalam parameter m

  i

  " #

  1 $ (2)

  Dimana R adalah merepresentasikan orientasi rotasi matrik dari frame kamera dengan keterkaitan frame world. Sedangkan T merupakan translasi vektor dari titik pusat kamera O ke M

  o

  yang dinyatakan dalam frame kamera. o adalah sebuah matrik nol dan K adalah matrik kamera dengan jarak fokus f dan (c x , c y ) merupakan titik prinsipal sebagaimana persamaan (3), dimana nilai K seharusnya diketahui.

  % = 1 0 0 0 0 1 0 0 0 0 1 0

  '

  R T o 1 + !

  &

  (

  $ dan K = 0 *

  '

  18 J NTETI , Vol. 4, No.1, Februari2015

  Dalam penelitian ini dijelaskan metode untuk mencari pose sebuah objek dari sebuah gambar tunggal, metode ini merupakan gabungan dari dua algoritma, pertama adalah POS (Pose Orthography and Scalling), yang merupakan pendekatan proyeksi perspektif dengan proyeksi skala ortografi serta pencarian rotasi matrik, translasi vektor dari objek. Algoritma kedua POSIT (POS with ITerations) menggunakan looping iterasi pendekatan pose yang didapatkan dari POS dalam rangka untuk menghitung proyeksi skala ortografi lebih baik dari titik-titik fitur [10].

  Misal ada beberapa objek di dalam image atau beberapa titik dari suatu objek bergerak maka setelah waktu dt perubahan letak objek tersebut menjadi (dx, dy).

  1) Brightness I(x,y,t) bergantung pada koordinat x, y yang ada dalam bagian yang lebih besar dari image. 2) Brightness dari setiap titik dari suatu objek yang bergerak tidak berubah terhadap waktu.

  ). misal I(x,y,t) adalah image brightness yang berubah terhadap waktu sebagai gambaran dari urutan beberapa image (image sequences), ada dua asumsi :

  image

  terlihat dikarenakan adanya image brightness (terang gelapnya

  D. Lucas-Kanade Optical Flow Optical flow [9] didefinisikan sebagai suatu gerakan yang

  dimana dalam prakteknya aplikasi seharusnya memproses sekurang-kurangnya 4 frame per detik.

  2) Real Time , mempunyai komputasi fitur yang cepat

  = 1 0 0 0 0 1 0 0 0 0 1 0

• (
• ′ ′ ′

  ) dalam frame model dan koordinat yang belum diketahui dalam frame kamera. Proyeksi image dari M

  1 $ (7) atau semua elemen matrik proyeksi dibagi dengan T

  ⁄ &

  )

  &

  1

  , =

  z

  " #

  &

  $ !

  )

  &

  1

  (

  &

  '

  )

  '

  1

  1 $ (8)

  ! " #

  1 $

  ⁄

  )

  &

  ⁄

  ⁄

  )

  &

  (

  ⁄ &

  )

  &

  1

  1

  &

  i , Y i , Z i

  Gbr. 3 Proyeksi perspektif m i untuk titik model M i [2]

  Agar dapat menggunakan normalisasi koordinat image maka transfromasi pada persamaan (4) perlu diterapkan.

  0 0 1 (3)

  3D dan image 2D. Pada Gbr. 3 memperlihatkan model pinhole kamera dengan pusat proyeksi O, dan image plane di focal

  length f dengan asumsi nilai dari focal length dan pusat image telah diketahui besarnya.

  )

  &

  Sebuah model 3D dengan titik-titik fitur M

  (4) Sehingga dari persamaan (4) akan menjadi :

  o , M

  1 ..., M i

  , ..., M n

  berada di posisi frustum kamera. Frame dari koordinat model berpusat di M

  o , dengan titik M i

  koordinatnya telah diketahui (X

  =

  = , % & - !

  1

  1

  =

  = (6) dari persamaan (5) dapat ditulis seperti pada persamaan (7) :

  3

  = , r

  2

  = , r

  didefinisikan oleh persamaan (6) : r

  POSIT merupakan sebuah metode yang cepat dan algoritma iteratif yang akurat untuk menemukan pose 6DOF – enam derajat kebebasan bergerak (orientasi dan translasi) dari sebuah model 3D atau scene yang terkait atau berhubungan dengan kamera yang memberikan korespondensi titik objek

  3

  dan r

  2

  , r

  1

  , % | &/ -, untuk mencari solusi dalam permasalahan pose adalah bagaimana menemukan matrik R dan T yang sepenuhnya menggambarkan 6DOF, r

  1 $ (5) dan matrik proyeksi sekarang diberikan oleh P =

  " # J NTETI , Vol.4, No.1, Februari 2015

  19

  yang konvergen. Metode POSIT tidak memerlukan proses Dari persamaan (8), memberikan, inisialisasi estimasi pose terlebih dulu, sangat cepat karena proses konvergensi hanya memerlukan sekitar empat sampai

  34

  w (9)

  i = 1 + (!6, "6, #6)

  lima iterasi, robust terkait dengan pengukuran image dan

  15 permasalahan kalibrasi kamera.

  dan menerapkan transposnya pada dua persamaan yang tersisa, ⁄ ⁄ 0 & 0 &

  ) )

  [u v] = [ X Y Z 1 ] (10) & ⁄ & & ⁄ &

  ' ) ( )

  dengan menggunakan sejumlah titik n, persamaan (10) dapat dikembangkan menjadi,

  Gbr. 4 Proyeksi perspektif ortografik [10]

  # 1 9! " > 9 >

  ! " # 1 0 & ⁄ 0 & ⁄ 8 = ) ) 8 =

  = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 8 =

  8 = ⁄ ⁄ (11)

  & ' & ) & ( & )

  ETODOLOGI ;+ ;+

  III. M " # ;+

  1 8 = ! ;+ ;+ 8 = 7 ; ; < 7 ! ; " ; # ; ?@@@@@@@A@@@@@@@B 1< Metode penelitian yang dilakukan pada penelitian ini

  C

  adalah sebagai berikut: dimana M merupakan model matrik yang mendefinisikan

  A. Perancangan Sistem

  struktur dari model 3D yang digunakan dan (u , v ) adalah titik

  i i

  Dibahas mengenai perencanaan dan pembuatan sistem koordinat proyeksi image (X , Y , Z ). Solusi dari persamaan

  i i i

  untuk estimasi pose model 3D dalam lingkungan Augmented (11) untuk memberi parameter pose,

  Reality berbasis titik fitur wajah, tampak pada Gbr. 5. Proses tracking dari awal image terdeteksi untuk tiap frame sampai

  9 > ⁄ 0 & ⁄

  ) )

• 8 = dengan terbentuknya image 2D kepala dari aktor. Setelah = (12) 0 & E ⋮ ⋮

  D';

  8 = & ⁄ & & ⁄ &

  ' ) ( ) image

  2D kepala terdeteksi dengan garis kotak deteksi

  D ' ;+ ;+

  8 = 7 < tracking , maka data tersebut siap diolah untuk diambil titik-

  ; ; ;

  titik fitur penting pada image wajah yang akan digunakan Hasilnya lebih mudah untuk mengambil T , T , T , r dan

  z x y

  1

  sebagai landmark peletakkan (overlay) model objek 3D dalam r semenjak baris rotasi matrik ortogonal adalah r = r x r

  2

  3

  1

  2 lingkungan Augmented Reality.

  dan pose sepenuhnya bisa didefinisikan. Dapat diketahui setidaknya ada empat titik korespondensi non-coplanar yang diperlukan, jika tidak maka matrik M adalah tunggal. Pendekatan inilah yang disebut Pose from Orthography and

  Scaling (POS). Misalkan untuk mendapatkan nilai tetap pose dari w . i

  Perspektif image (u , v ) dari titik world 3D yang berkaitan

  i i F F

  dengan image ( , ) dihasilkan oleh penskalaan kamera ortografik menurut:

  F

  u

  i i

  = w

  F

  v (13)

  i i

  = w terminasi tersebut dapat ditentukan jika pose kamera sudah diketahui dengan menggunakan persamaan (9). Algoritma POSIT dimulai dengan asumsi bahwa titik proyeksi image identik dengan titik penskalaan ortografik image, sehingga w

  i

  = 1, i = 1, ..., n. Berdasarkan asumsi tersebut maka pose kamera dapat ditentukan melalui solusi sebuah sistem persamaan linier (12).

  Solusi tersebut hanya perkiraan pada saat pendekatan w =

  i

  1, bagaimanapun juga akan membuat lebih akurat estimasi dari pose objek. Akurasi dari parameter w dapat ditingkatkan

  i Gbr. 5 Bagan sistem

  dengan melakukan estimasi ulang menggunakan persamaan

  B. Proses Deteksi

  (9). Gbr. 4 menampilkan model perspektif skala ortografik digunakan secara iteratif dalam proses komputasi perspektif Pada tahapan ini bertujuan untuk pengambilan gambar secara penuh dari pose. Proses ini diulang sampai terjadi pose (grabbing) tiap frame dalam waktu nyata (real time capturing) Heri Pratikno: Kontrol Gerakan Objek 3D . . .

  ISSN 2301 - 415

  20 J NTETI , Vol. 4, No.1, Februari2015

  dari sebuah scene menggunakan kamera tunggal. Pada aplikasi tersebut, resolusi image yang akan ditampilkan pada

  form desain window adalah fix, artinya tidak mengikuti ukuran

  yaitu: 640 x 480 piksel. Yang perlu diperhatikan

  box preview,

  adalah posisi aktor atau image kepala juga harus diatur penempatan posisinya agar bisa ditangkap dengan sempurna oleh kamera.

C. Proses Tracking wajah

  Setelah proses deteksi pada frame pertama selesai, langkah selanjutnya adalah diperlukan informasi ekstraksi dari ekspresi wajah yang direpresentasikan pada beberapa urutan dari image sebagaimana pada Gbr. 6. Pada saat otot wajah berkontraksi maka akan menyebabkan perubahan pada fitur wajah dan hasilnya mempengaruhi efek secara visual. Pergerakan dari titik-titik wajah, misalkan alis, mata dan mulut mempunyai informasi relasi yang kuat dalam menunjukkan ekspresi dari wajah.

  Gbr. 7 Proses Lucas-Kanade Thomasi

  D. Proses Estimasi Pose

  Pada dasarnya estimasi pose atau disebut juga extrinsic

  camera calibration adalah proses untuk mengekstraksi

  informasi yang terkait dengan informasi posisi dan orientasi titik yang korespondensi dari sebuah model objek dan image yang diperoleh dari kamera. Pose dari sebuah objek merupakan posisi dan orientasi pada objek yang mempunyai enam arah kebebasan dalam bergerak (Six Degree Of Freedom - 6DOF).

  Dengan informasi dari 6DOF dapat menampilkan beberapa objek yang relatif pada pose yang diketahui atau pose terukur dari objek yang diintegrasikan pada objek virtual ke gambar nyata atau video, langkah inilah yang merupakan kunci dari

  Augmented Reality . Untuk setiap pose pada semua titik-titik

  objek yang berada di depan kamera (semua Z > 0), apabila Z

  i i

  kurang atau sama dengan nol maka pose tersebut akan diabaikan.

  Gbr. 6 Diagram alur proses deteksi metode Viola-Jones

  Untuk melacak titik fitur wajah dari sebuah image, pada penelitian ini menggunakan algoritma Kanade-Lucas Thomasi (KLT). Gbr. 7 menampilkan prinsip dasar dari ketiga tahapan metode KLT dalam melacak titik fitur wajah, yaitu: mengekstraksi titik fitur wajah (feature extraction), memilih titik fitur wajah (feature selection) dan melacak titik fitur (feature tracking).

  (a) (b)

  Gbr. 8 Proses POS, a. Satu POSE dan b. Dua Pose [11] J NTETI , Vol.4, No.1, Februari 2015

  21

  Pada Gbr. 8 (a) pada proses POS mempunyai satu pose buah. Berdasarkan teori Parke bahwa surface wajah lebih dari yang layak pada setiap prosesnya. dimana tanda + (plus) 250 polygon yang terbagi lebih dari 400 vertex sudah cukup adalah pose yang layak atau terdeteksi dan tanda – (minus) mencapai tingkat realitis dari wajah sesungguhnya. merupakan pose yang tidak terdeteksi atau dibuang.

  Format file model objek kepala 3D yang digunakan pada Sedangkan pada Gbr. 8 (b) menunjukkan proses POS yang penelitian ini mempunyai ekstensi .raw, dimana file gambar mempunyai dua keluaran pose yang layak pada setiap proses dengan ekstensi ini biasanya dihasilkan secara langsung dari iterasinya. kamera lama dengan merk, seperti : Fuji, Xerox dan sebagainya. Menurut Steve Anger (Febuary, 1996) untuk

ASIL DAN EMBAHASAN

  IV. H P merubah atau mengkonversi file jenis 3D dapat menggunakan Sampai pada tahapan ini hasil yang telah dicapai adalah utility RAW2POV, dimana pada utilitas ini akan merubah titik terselesaikannya proses deteksi, proses pelacakan, proses – titik geometri facet dalam bentuk triangular. pemetaan proyeksi model objek 2D ke 3D dan korespondensi

  3D ke 2D. Semua proses tersebut telah diimplementasikan dalam tiga bentuk tampilan GUI window yang berfungsi untuk memudahkan kontrol proses input dan output pada masing- masing tahapan.

  A. Tampilan GUI Sistem 1) Tampilan GUI Berbasis Teks: Pada GUI berbasis teks ini

  akan menampilkan proses output dari hasil program yang terkait dengan keluaran: lamanya waktu proses deteksi, koordinat posisi dari estimasi pose, matrik GL matrix, rotasi matrix dan translasi vector.

  2) Tampilan GUI Tracking : Tampilan GUI tracking berfungsi untuk menampilkan window yang berisi image 2D

  Gbr. 10 GUI tampilan utama AR

  wajah aktor yang di-capture tiap frame oleh kamera untuk menggerakan model objek 3D. Hasil tracking merupakan hasil penerapan dari algoritma Viola-Jones berupa garis kotak

  Model objek 3D dalam bentuk seperti kepala manusia pada image kepala dalam gambar dengan ukuran sub-window tersebut bisa digerakkan kearah sumbu koordinat XYZ dan 24 x 24 piksel yang berfungsi untuk menampilkan hasil proses kearah sudut pergerakan RPY (Roll, Pitch, Yaw) seperti inisialisasi titik – titik fitur wajah oleh Lucas-Kanade terlihat pada Gbr. 11. Thomasi.

  Semakin banyak jumlah titik-titik fitur pada image wajah

  2D, maka akan semakin robust dalam proses pergerakan model objek 3D. titik-titik fitur tersebut berfungsi sebagai

  landmark proses pembangkitan model objek 3D dalam bentuk seperti kepala manusia, sebagaimana tampak pada Gbr. 9.

  Gbr. 11 Arah rotasi pada sudut RPY Gbr. 9 GUI Tracking B. Hasil Pengujian Sistem 3) Tampilan GUI Utama Augmented: Pada tampilan pada

  Pengujian sistem yang dilakukan pada penelitian ini, Gbr. 10, merupakan bentuk tampilan GUI utama Augmented dibahas dari sudut pandang akurasi, ketangguhan pelacakan,

  Reality yang menampilkan model objek 3D bentuk kepala

  serta waktu nyata (real time). Nilai akurasi terkait dengan manusia dengan permukaan polygon segitiga sebanyak 2.700 Heri Pratikno: Kontrol Gerakan Objek 3D . . .

  ISSN 2301 - 415

  22 J NTETI , Vol. 4, No.1, Februari2015

  TABEL I

  ketepatan dalam pelacakan, ketangguhan melacak dalam

  SATU FRAME PER SECOND perbedaan intensitas cahaya dan kecepatan gerakan. _t

  Sedangkan sisi real time menunjukkan, apakah proses _t yang diperlukan Jumlah Deteksi ke- ∑ FPS

  (detik ) (detik ) pergerakan model objek 3D berjalan dalam waktu nyata ?.

  1 0.054 1) Akurasi Pelacakan: Implementasi pada sistem, akurasi

  2 0.055

  pelacakan cukup baik karena bisa menggerakkan model objek

  3 0.066

  kepala 3D pada tampilan layar GUI utama hampir sama

  4 0.064 5 0.065

  dengan pergerakan si aktor. Proses pelacakan (tracking)

  6 0.055

  mampu mendeteksi image wajah dan menggerakkan model

  7 0.058

  objek kepala 3D rotasi pada sudut Pitch sebesar 129.1 ke

  8 0.060

  arah atas dan bawah, sedangkan pada arah rotasi pada sudut 0.947 (≈ 1 detik )

  1 9 0.055 Yaw dengan berpaling ke kanan dan kiri besar simpangan

  10 0.062 sudutnya sebesar 179.8 . 11 0.062 12 0.055

  2) Ketangguhan Pelacakan: Ketangguhan dalam pelacakan 13 0.055 image wajah 2D serta pergerakan model objek kepala 3D

  14 0.062

  dipengaruhi oleh pencahayaan ruangan, metode Lucas-Kanade

  15 0.064

  Tomasi berdasarkan pada tingkat kecerahan objek (brightness)

  16 0.055

  pada cahaya ruangan yang normal. Pencahayaan pada ruangan tidak boleh terlalu gelap atau terlalu terang karena hal itu bisa

  4) Posisi dan Orientasi Model Objek pada Sudut RPY:

  mengakibatkan beberapa pelacakan titik fitur wajah bergeser Posisi dan orientasi pergerakan model 3D dalam AR pada dari tempat seharusnya. arah enam derajat kebebasan (6DOF) mempunyai enam

  Apabila banyak titik fitur wajah yang hilang atau bergeser parameter posisi dan orientasi (t , t , t ,

  x y z

  G, H, I ) dimana

  T maka bisa menyebabkan pada tingkat akurasi pelacakan.

  parameter translasi vektor [t , t , t ] dan rotasi sudut yang

  x y z

  Apabila terlalu sedikit titik fitur yang disetting maka akan direpresentasikan dengan orientasi RPY ( G = Roll, H = menyebabkan tampilan animasi model objek kepala 3D di

  Pitch, I = Yaw). Pergerakan dan pergeseran sudut dari model monitor jadi bergetar (tremor). Oleh karena itu pada penelitian objek 3D tersebut akan berotasi minimal pada dua orientasi ini banyaknya titik fitur image wajah diberikan sebanyak 200 RPY, permasalahan ini timbul dikarenakan menggunakan buah titik fitur. sudut Euler.

  3) Waktu Nyata : Untuk mengetahui berapa banyaknya

  5) Rotasi pada Sudut Pitch ( β): Pada Gbr. 13, menunjukkan

  frame tiap detiknya pada proses inisialisasi tracking dari

  rotasi model kepala 3D pada sumbu X (Pitch,

  H) tetap dengan sebuah kamera ada banyak metode yang bisa dilakukan. pergeseran besar sudut pada sumbu Y (Yaw) dan Z (Roll). Fungsi untuk mendeteksi posisi image wajah dari gambar

  Dimana rotasi model objek 3D tersebut dari titik awal (0, 0, 0)

  ' '

  kepala 2D dalam area kotak tracking menggunakan ukuran terhadap pergeseran sudut keatas (0, y , z ) dengan pergeseran 40 x 40 piksel merupakan implementasi dari

  window

  sudut maksimal sebesar 65,9°. Sedangkan pergeseran sudut ke

  ' '

  algoritma Viola-Jones dengan Haar-like features dan trained bawah (0, y , z ) maksimal sebesar 63,2°.

  cascades .

  Hasil keluaran dari penelitian ini adalah sebanyak 16 frame pada tiap detiknya, terlihat pada Gbr. 12 dan Tabel I. Dengan

  frame sebesar itu sudah memenuhi unsur waktu secara real

  , dimana waktu secara real time mensyaratkan minimal

  time ada 4 frame dalam satu detiknya.

  Gbr. 13 Model objek 3D mengahadap keatas

  6) Rotasi pada Sudut Yaw ( γ): Gbr. 14, menunjukkan rotasi model kepala 3D pada sumbu Y ( I ) tetap dengan pergeseran besar sudut pada sumbu X (Pitch) dan Z (Roll).

  Dimana rotasi model objek 3D dari titik awal (0, 0, 0)

  ' '

  terhadap pergeseran sudut ke kanan (x , 0, z ) dengan pergeseran sudut maksimal sebesar 89,79°. Sedangkan rotasi

  Gbr. 12 Grafik waktu deteksi frame tiap detik J NTETI , Vol.4, No.1, Februari 2015

  23

  model 3D berpaling kearah kiri mengalami pergeseran sudut sebesar 90.01°.

  Gbr. 16 Translasi pada sumbu X dari arah kanan ke kiri 10) Translasi pada Sumbu Y: Translasi pada sumbu

  koordinat Y ditunjukkan seperti pada Gbr. 17 yang

  Gbr. 14 Model objek 3D berpaling ke kanan

  menampilkan pergerakan model objek 3D kepala manusia pada sumbu Y dari atas dan bawah. Rata-rata besarnya pergeseran geometri dari bagian atas ke bagian bawah layar

  7) Rotasi pada Sudut Roll ( α): Pada Gbr. 15, menunjukkan sebesar 1,63 satuan vektor unit. Adapun pergeseran model 3D rotasi model kepala 3D pada sumbu Z (

  G ) tetap dengan dari bagian bawah layar ke bagian atas layar sebesar 0,33 pergeseran besar sudut pada sumbu X (Pitch) dan Y (Yaw). satuan vektor unit. Dimana rotasi model objek 3D dari titik awal (0, 0, 0) terhadap pergeseran sudut rebah ke bahu kanan dan bahu kiri

  ' ' (x , y , 0) dengan pergeseran sudut maksimal sebesar 90°.

  Gbr. 17 Translasi pada sumbu Y dari atas ke bawah 11) Translasi pada Sumbu Z: Selanjutnya translasi pada

  Gbr. 15 Rotasi pada sudut kanan Roll

  sumbu koordinat Z ditunjukkan seperti pada Gbr. 18 yang menampilkan pergerakan model objek 3D kepala manusia pada sumbu Z dari arah depan dan belakang. Rata-rata

  8) Translasi adalah

  Translasi Model Objek pada Arah XYZ:

  besarnya pergeseran geometri dari arah depan (mendekati pergeseran suatu benda sepanjang suatu garis lurus, garis yang kamera) ke arah belakang (menjauhi kamera) sebesar 1,73 dimaksud adalah sejajar dengan sumbu X, sejajar sumby Y, satuan vektor unit. Adapun pergeseran model 3D dari arah sejajar sumbu Z atau sejajar garis sembarang dalam ruang. belakang (menjauhi kamera) ke arah depan (mendekati

  Akibat dari translasi ini menyebabkan benda tersebut akan kamera) sebesar 3,62 satuan vektor unit. berpindah tempat atau bergeser dari tempat semula dengan bentuk dan orientasi tidak berubah. Gerak adalah perpindahan secara terus-menerus, dengan adanya translasi maka akan diperoleh kesan gerak.

  9) Translasi pada Sumbu X : Pada Gbr. 16, menampilkan pergerakan model objek 3D kepala manusia pada sumbu X dari arah kanan dan kiri, besarnya pergeseran geometri dari arah kanan ke kiri sebesar 1,66 satuan vektor unit serta pergeseran model 3D dari kiri ke kanan sebesar 0,48 satuan vektor unit.

  Gbr. 18 Translasi pada sumbu Z dari depan ke belakang Heri Pratikno: Kontrol Gerakan Objek 3D . . .

  ISSN 2301 - 415

  24 J NTETI , Vol. 4, No.1, Februari2015

C. Hasil Akhir Kontrol Pergerakan Objek 3D

  Model objek 3D yang akan dibuat dan dikontrol pada penelitian ini adalah bentuk solid dari sebuah teapot, dimana pergerakan dari model objek 3D teapot tersebut diproyeksikan secara orthogonal dengan model 3D objek bentuk kepala manusia, tampak seperti pada Gbr.

  D. Oberkampf, D. F. DeMenthon, Larry S. Davis. Iterative Pose Estimation using Coplanar Feature Points. Computer Vision and Image Understanding . vol. 63 no. 3. pages 495-511. May 1996.

  IEEE International Conference on Automatic Face and Gesture Recognition. pages 1-6. 2008. [11]

  [9] Gibson, J.J., The Perception of the Visual World, Houghton Mifflin, pages 235. Cambrigde. Massachusetts. USA. 1950. [10] Martins Pedro. Batista Jorge, Accurate Single View Model-Based head Pose Estimation, 8 ^th

  Tutorial for Entry Level Researcher, Tutorial 3D Reconstruction. v1.0 , Gadjah Mada University. Indonesia. 2011.

  2002. [8] Sunu Wibarama, Fundamental Techniques For 3D Computer Vision, A

  Volume 70. Pages 227-238. 1998. [7] Resmana Lim. Davina. Sivia R., Pelacakan dan estimasi Pose Video wajah 3 Dimensi . Jurnal Teknik Elektro. volume 2. nomer 2. UK Petra.

  Projective Formulation to Improve the Accuracy of Lowe’s Pose Estimation Algorithm , Computer Vision and Images Understanding.

  1986. [6] Araujo H., Carceroni Rodrigo L. Brown Christopher M., A Fully

  [4] Lowe, D.G, Perceptual Organization and Visual recognition, Kluwer Academic Publishers. 1985. [5] Tsai, R.Y., An Effisient and Accurate Camera Calibration Technique for 3D Machine Vision . Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Miami Beach. Florida. pp. 364-374.

  Object Position and Orientation . IEEE Trans. on Robotics and Automation. vol. 5. pp. 129-142. 1989.

  Numbers 1-2. pages 123-141, 1995. [3] Yuan. J.S.C., A General Photogrammatric Method for Determining

  [2] Daniel F. DeMenthon, Larry S. Davis, Model-Based Object Pose in 25 Lines of Code . International Journal of Computer Vision. Volume 15.

  EFERENSI [1] M. Haller, M. Billinghurst, Bruce Thomas, Emerging Technologies of Augmented Reality: Interface and Design.

  R

  Bisa ditingkatkan lebih lanjut dengan penerapan metode Fuzzy, AAM dan sebagainya sehingga bisa mengekspresikan model objek 3D.

  Diperlukan pencahayaan ruangan yang merata karena jika pencahayaan terlalu gelap atau terang bisa membuat beberapa titik fitur wajah bergeser atau hilang.

  19. Sehingga pergerakannya bisa dilakukan secara 6DOF, yaitu: translasi pada sumbu koordinat XYZ dan rotasi pada sudut ruang RPY (Roll, Pitch dan Yaw).

IDEA GROUP PUBLISHING, 2007.

c. Atas-bawah, d. Pojok kiri bawah

ESIMPULAN DAN

  Model kepala 3D bisa ditranslasikan pada sumbu koordinat XYZ. Diperlukan minimal 200 titik fitur pada image wajah 2D agar model objek 3D tidak bergetar (tremor). Sistem pelacakan pergerakan tidak robust pada area pelacakan yang tertutupi (occluding area).

  ( ∝).

  Posisi dan orientasi pergerakan model kepala 3D sudah bisa dirotasikan pada sudut Pitch (β), sudut Yaw ( I) dan sudut Roll

  Hasil keluaran dari sistem yang diterapkan pada penelitian ini sebesar 16 frame per second (FPS), sehingga sudah termasuk dalam waktu nyata (real time) yang mensyarat-kan minimal 4 FPS.

  Dari hasil perancangan sistem, implementasi sistem dan pengujian sistem, maka didapatkan kesimpulan sebagai berikut.

  B. Saran

  ARAN

  S

  V. K

  (a) (b) (c) (d) Gbr. 19 Pergerakan model objek 3D : a. Posisi awal, b.Pojok kanan atas

  Beberapa saran untuk penelitian lebih lanjut: Sebaiknya menggunakan jumlah titik fitur yang lebih banyak untuk mendapatkan tingkat ketahanan gerak dari model objek kepala 3D agar tidak bergetar (tremor).

  A. Kesimpulan