Endang SITIA2012 grayscale
Pengembangan Program Simulator Frame Kacamata
Secara Real-Time 3D Face Tracking dengan
Menggunakan Augmented Reality
Endang Setyati
David Alexandre, Daniel Widjaja
Information Technology Department
Sekolah Tinggi Teknik Surabaya
endang@stts.edu, endang11@mhs.ee.its.ac.id
Informatic Department
Sekolah Tinggi Teknik Surabaya
davidalexandre@gmail.com, wijaya.pas@gmail.com
Abstract— Augmented Reality (AR) adalah penggabungan antara
objek buatan hasil penghitungan komputer dengan dunia nyata.
Objek buatan tersebut berasal dari grafik dalam bentuk tiga
dimensi. Aplikasi yang dibuat dengan AR dituntut untuk dapat
bekerja secara real-time dan dapat berinteraksi dengan pengguna.
Penerapan AR dalam paper ini, digunakan untuk pengembangan
program simulator model frame kacamata. Pengguna hanya perlu
berada dalam jangkauan webcam saat mengaktifkan fitur
pemasangan frame kacamata pada aplikasi dan model frame
kacamata buatan akan terpasang dengan sendirinya pada wajah
pengguna. Pendeteksian wajah atau face tracking yang digunakan,
memiliki perubahan kecepatan kinerja yang signifikan
sesuai pada resolusi dari image sebagai input. Semakin
rendah resolusi yang digunakan, maka frame per second
yang didapatkan semakin tinggi. Sehingga untuk
pendeteksian wajah pada program simulator ini, resolusi
memiliki perbandingan terbalik dengan frame per second.
Keywords: Augmented Reality, Face Tracking.
I. PENDAHULUAN
Penggunaan AR sangat erat kaitannya dengan dunia
computer vision. Pada umumnya media yang digunakan
adalah video-camera dan sebuah marker. Dengan posisi dari
marker yang sudah dideteksi tersebut, maka AR dapat
dilakukan.
Face detection atau face tracking adalah salah satu hal
yang mengalami perkembangan pesat dalam dunia computer
vision. Berbagai macam algoritma dan metode telah
diterapkan untuk melakukan pendeteksian wajah. Hal ini
didukung dengan semakin luasnya manfaat yang dapat
diperoleh dari pengembangan face detection. Aplikasi dari
face detection dapat menggunakan media video-camera dan
wajah pengguna aplikasi sebagai input.
Salah satu perkembangan yang cukup berpengaruh adalah
pada pengolahan data wajah secara dua dimensi. Dari hasil
penelitian diperoleh fakta bahwa pengubahan data wajah dari
dua dimensi (2D) dimodelkan pada sebuah ruang tiga dimensi
(3D) adalah riil. Melihat dari hasil tersebut berdampak pada
semakin luas hal-hal yang dapat dilakukan oleh face detection.
Ide dasar dari pemodelan ini adalah untuk memperbaiki
kelemahan-kelemahan yang diperoleh apabila hanya dilakukan
pendeteksian secara 2D. Contohnya, dengan pendeteksian
secara 2D penghitungan tidak dapat memperkirakan bentuk
dan arah wajah sebaik pendeteksian 3D. Melalui beberapa
pendekatan yang tepat, pendeteksian wajah secara 3D tersebut
dapat semakin melebarkan manfaat dari pendeteksian wajah
seperti face recognition yang lebih akurat maupun untuk
penggunaan AR.
Dalam implementasinya, aplikasi augmented reality akan
menggunakan face tracking untuk melakukan simulasi frame
kacamata. Cara yang digunakan adalah dengan memanfaatkan
hasil face tracking sebagai marker dan kemudian dilakukan
proses untuk pengenalan model wajah dalam tiga dimensi
untuk memunculkan AR berupa frame kacamata. Dengan
demikian program yang dihasilkan akan menjadi simulator
bagi pengguna untuk melakukan simulasi pemakaian frame
kacamata.
Masalah yang dihadapi pada implementasi adalah
bagaimana cara untuk melakukan proses pendeteksian wajah,
perkiraan pose wajah dan penggambaran frame kacamata
secara cepat dan akurat. Dikarenakan aplikasi AR ini dituntut
untuk dapat bekerja secara real-time sehingga pemilihan
metode akan sangat berpengaruh pada hasil akhir dari
implementasi.
II. REAL TIME 3D FACE TRACKING
A. Augmented Reality
AR adalah istilah yang mengacu pada terlihatnya objek
pada dunia nyata dimana objek tersebut dibuat oleh komputer.
Secara konsep, AR berupa keadaan pada dunia nyata yang
dimodifikasi oleh komputer sehingga menampakkan keadaan
yang baru. Input yang dapat digunakan pada AR dapat berupa
suara, video, image, maupun GPS. Namun pada skala yang
lebih besar, AR dapat melibatkan berbagai macam sensor dan
lingkungan khusus.
Cara kerja dari AR melibatkan input berupa posisi atau
koordinat pada masalah riil, proses berupa penghitungan input,
dan output berupa objek AR yang telah sesuai dengan hasil
penghitungan proses. Tentu saja objek yang akan ditampilkan
pada AR akan disiapkan dahulu sebelumnya berupa objek 3D.
Berdasarkan pada pendeteksiannya AR dapat dibagi
menjadi dua bagian, pendeteksian tanpa marker (markerless
tracking) dan pendeteksian dengan marker (marked-based
tracking). Pendeteksian dengan marker pada augmented
reality akan melibatkan marker atau penanda sebagai penentu
inputnya. Untuk itu algoritma yang digunakan akan berupa
marker tracking dimana akan dicari posisi dan tipe marker
yang terdeteksi untuk menghasilkan AR dengan posisi yang
akurat. Hasil yang diperoleh umumnya adalah berupa gambar
dari objek 3D yang menempel pada marker dengan posisi
yang menyesuaikan letak marker. Tentu saja untuk
menggunakan AR pada metode ini, seorang pengguna
haruslah memiliki marker tersebut terlebih dahulu untuk dapat
mengaktifkan objek AR.
Pada pendeteksian tanpa marker, AR menggunakan
algoritma tertentu sebagai penentu inputnya seperti object
tracking. Sebagai contohnya dapat digunakan algoritma handtracking, algoritma face-tracking, dan algoritma objecttracking. Hasil dari algoritma tersebut akan digunakan sebagai
penentu posisi objek dari AR.
Dalam perkembangannya, AR telah dikembangkan dengan
penerapan berbagai macam metode dan algoritma untuk
menghasilkan AR yang lebih baik dan akurat. Selain itu
dikembangkan pula alat pendukung yang lebih baik pada AR.
Contohnya kacamata yang digunakan sebagai alat output yang
dapat dipakai secara langsung untuk melihat hasil AR.
B. Haar-like Features
Haar-like features [10] adalah salah satu cara untuk
melakukan pendeteksian wajah. Cara kerja dari metode ini
adalah dengan melakukan pengubahan suatu bagian image
(Region of Interest) menjadi sebuah nilai. Pengubahan suatu
daerah image yang memiliki wajah manusia menjadi nilai
tertentu dapat menjadikan metode ini salah satu metode
pendeteksian wajah yang cepat dan akurat. Nama dari haarlike features didapatkan dari Viola dan Jones yang melakukan
penghitungan yang memiliki kemiripan dengan metode haar
wavelet transform.
Secara lebih detail, haar-like features bekerja dengan
menandai daerah yang berdekatan pada sebuah image menjadi
area pixel berdasarkan classifier-nya. Kemudian dilakukan
penghitungan intensitas area pixel pada daerah tersebut dan
menghitung perbedaan masing-masing daerah tersebut.
Perbedaan yang didapatkan digunakan untuk mengkategorisasi
tiap daerah sehingga dapat digunakan untuk melakukan
pendeteksian objek.
C. Statistical Shape Model
Cootes dan Taylor [3] menjelaskan bahwa bentuk dari
sebuah objek dapat direpresentasikan dengan himpunan dari n
titik, yang dapat berada dalam 2D atau 3D. Bentuk dari sebuah
objek tidak akan berubah walaupun mengalami translasi,
rotasi, maupun skalasi.
Dalam Statistical Shape Model dikembangkan sebuah
model yang memungkinkan untuk menganalisa bentuk yang
baru dan menghasilkan bentuk yang sesuai dengan yang ada
pada training set. Training set biasanya didapatkan dari
sejumlah training images yang ditandai secara manual.
Dengan menganalisa variasi bentuk dari training set, dibentuk
sebuah model yang dapat menyamai variasi tersebut. Model
ini biasanya disebut sebagai Point Distribution Model.
Pemilihan landmark yang bagus adalah pada titik-titik
yang memiliki lokasi yang konsisten dari satu gambar ke
gambar yang lain. Metode yang paling sederhana untuk
mendapatkan training set adalah dengan menandai sejumlah
gambar dengan sejumlah titik secara manual. Dalam gambar
2D, titik-titik dapat diletakkan pada sudut dari batas objek,
persilangan antara batas objek, maupun landmark yang mudah
didapatkan lokasinya. Bagaimanapun juga, titik-titik tersebut
hanya dapat memberikan gambaran kasar dari bentuk objek.
Untuk mengatasi hal ini, daftar dari titik-titik ini ditambahkan
dengan titik-titik dari batas objek yang disusun supaya
memiliki jarak yang sama [3].
Dalam gambar 2D, n titik landmark, {(xi, yi)}, untuk
sebuah sampel data training, dapat direpresentasikan sebagai
vektor dengan 2n elemen, X, dimana:
X = (xi, ..., xn , yi, ..., yn) T
(1)
Diberikan sampel data training sejumlah s, dihasilkan vektor
X sejumlah s. Sebelum melakukan analisa statistik terhadap
vektor-vektor tersebut, sangatlah penting bahwa bentuk dari
training set tersebut direpresentasikan dalam koordinat yang
sama dengan data yang ada pada training set. Pengolahan
training set menyelaraskan setiap bentuk sehingga total jarak
dari setiap bentuk ke bentuk rata-rata diminimalkan [3].
Misalkan terdapat dua buah bentuk, x1 dan x2, yang
berpusat pada (0,0). Skalasi dan rotasi akan dilakukan
terhadap x1 dengan (s,θ) untuk meminimalkan | sAx1 - x2 |,
dimana A merupakan rotasi dari x dengan sudut sebesar θ.
Maka :
a
( x1 .x 2 )
x1
(2)
2
n
b
( x1i y 2i x2i y1i )
i 1
x1
2
(3)
s2 = a2 + b2
(4)
b
tan1
a
(5)
Jika kedua bentuk tersebut tidak berpusat pada (0,0), maka
harus dilakukan translasi terlebih dahulu supaya kedua bentuk
berpusat pada (0,0). Memodelkan variasi shape, jika sudah
mendapatkan sekumpulan titik-titik xi sejumlah s yang telah
diselaraskan dalam kordinat frame yang sama. Vektor-vektor
tersebut membentuk sebuah distribusi pada n dimensional
space. Jika distribusi ini dapat dimodelkan, dapat dihasilkan
data baru yang sesuai dengan data yang ada pada training set
dan dapat memeriksa sebuah bentuk apakah bentuk tersebut
merupakan bentuk yang sesuai dengan bentuk-bentuk yang
ada pada training set.
D. Active Shape Model
Active Shape Model (ASM) [4] adalah sebuah metode
dimana model dari sebuah objek secara iteratif berubah bentuk
untuk mencocokkan model tersebut pada sebuah objek pada
gambar [2]. Metode tersebut menggunakan model yang
fleksibel yang didapatkan dari sejumlah sampel data training.
Diberikan sebuah posisi perkiraan pada gambar, ASM
dapat secara iteratif dicocokkan pada gambar. Dengan
memilih satu set shape parameter b untuk Point Distribution
Model, bentuk dari model dapat didefinisikan dalam frame
koordinat yang berpusat pada objek. Instance X pada model
dalam gambar dapat dibuat dengan mendefinisikan posisi,
orientasi, dan skala:
X = M(s,θ)[x] + Xc
(6)
dimana: Xc = (Xc, Yc,..., Xc, Yc)T; M(s,θ)[.] adalah rotasi
sebesar θ dan skala sebesar s; (Xc, Yc) adalah posisi pusat dari
model pada frame gambar.
Secara garis besar, Active Shape Model bekerja dengan
mengulangi langkah-langkah berikut:
(1) Cari pada gambar di sekeliling setiap titik untuk lokasi
yang lebih baik bagi titik tersebut;
(2) Meng-update pose dan shape parameter (Xb, Yb, s, θ, b)
pada model sehingga sesuai dengan posisi baru yang
ditemukan;
(3) Memberikan konstrain pada parameter b untuk
memastikan bentuk yang sesuai (Misal |bi| < 3√λi);
(4) Ulangi sampai konvergen (konvergensi dicapai apabila
tidak terdapat perbedaan berarti antara sebuah iterasi
dengan iterasi sebelumnya).
Dalam prakteknya, dilakukan pencarian sepanjang profile
normal menuju batas objek pada setiap titik pada model. Cara
paling mudah adalah dengan mendapatkan lokasi dari edge
dengan intensitas paling besar (dengan orientasi jika
diketahui) sepanjang profile. Posisi dari edge ini merupakan
posisi baru dari titik pada model.
Bagaimanapun juga, titik pada model tidak selalu terletak
pada edge dengan intensitas yang paling besar pada local
structure. Titik-titik tersebut dapat merepresentasikan edge
dengan intensitas yang lebih rendah maupun struktur gambar
yang lain. Pendekatan yang paling baik adalah dengan
mempelajari dari training set apa yang dicari dari gambar 1.
Gambar 1. Implementasi Iterasi yang Dilakukan dengan Menggunakan
ASM
E. Pose from Ortography and Scaling with Iteration
Pose from Orthography and Scaling with Iteration atau
disebut POSIT [9] adalah algoritma yang dapat digunakan
untuk mengestimasi posisi dari objek tertentu dalam bidang
3D. Algoritma ini berasal dari Dementhon pada tahun 1995
[5]. Untuk mengukur pose dari sebuah objek, diperlukan
paling sedikit empat titik non-coplanar objek dari image.
Karena itu akan digunakan proyeksi bidang 3D dari titik-titik
2D yang ditemukan sebagai input dari algoritma ini.
Algoritma ini memperkirakan proyeksi perspektif dari
proyeksi ortografi objek pada image yang sudah disesuaikan
skalanya. Dari hasil proyeksi tersebut ditemukan rotation
matrix dan translation vector dari objek.
Dengan demikian tujuan dari algoritma ini adalah untuk
menghitung matriks rotasi dan vektor tanslasi dari sebuah
objek. Matriks rotasi R dari sebuah objek adalah sebuah
matriks yang terdiri dari koordinat tiga buah vektor i, j, dan k
dari sistem koordinat kamera yang diubah menjadi sistem
koordinat objek. Fungsi dari matriks rotasi tersebut adalah
untuk melakukan penghitungan dari sistem koordinat objek
dari vektor seperti M0Mi menjadi sistem koordinat kamera.
Hasil perkalian dari M0Mi, i antara baris pertama matriks dan
vektor M0Mi akan memberikan proyeksi vektor tersebut pada
vektor i yang berada pada koordinat kamera. Sebagai contoh
koordinat Xi – X0 dari M0Mi, selama koordinat M0Mi dan
barisan vektor i berada pada sistem koordinat yang sama maka
akan didapatkan hasil sistem koordinat objek sebagai berikut.
iu i v iw
R ju j v j w
k u k v k w
(7)
dimana iu, iv, iw adalah koordinat i dalam sistem koordinat
objek (M0u, M0v, M0w).
Untuk mendapatkan matriks rotasi, hanya memerlukan
penghitungan i dan j pada sistem koordinat objek. Vektor k
akan didapatkan melalui cross-product dari i x j. Sedangkan
untuk vektor translasi, T adalah vektor OM0 diantara titik
proyeksi O dan titik referensi objek yaitu M0 . Koordinat
vektor translasi yang didapatkan berupa X0, Y0, dan Z0.
Pada gambar 2 ditunjukkan proyeksi perspektif (mi) dan
proyeksi ortogonal yang telah diskalakan (Pi) dari titik objek
Mi yang memiliki titik referensi M0. Untuk langkah-langkah
dari implementasi algoritma POSIT yaitu :
(1) Melakukan pengambilan titik fitur objek yang terlihat pada
image.
Bentuklah matriks A dengan dimensi (N-1)x3, dimana
setiap baris matriks berisikan vektor M0Mi dari titik fitur
M0 ke titik fitur Mi. Buatlah 3x(N-1) matriks B sebagai
pseudoinverse dari matriks A.
(2) Inisialisasikan: i ( 0) 0 , (i 1... N 1), n 1
(3) Lakukan iterasi Penghitungan i, j, dan Z0:
- Menghitung vektor image X’ dengan koordinat N-1 dari
rumus :
X' x i (1
) x 0 , (i 1... N 1), n 1
(9)
i (n 1)
dan menghitung vektor image Y’ dengan koordinat N-1
dari rumus:
Y' y i (1 i (n1) ) y 0 , (i 1... N 1), n 1
(10)
- Lakukan perkalian 3x(N-1) matriks B dengan vektor
koordinat N-1 untuk memperoleh vektor I dan J yang
memiliki tiga koordinat.
I = B.X’ dan J = B.Y’
(11)
- Menghitung skala s dari proyeksi sebagai rata-rata dari
normalisasi vektor I dan J.
s1 (I . I)1 / 2 , s2 (J . J )1 / 2 , s (s1 s2 ) / 2
- Menghitung vektor i dan j.
i I / s1 , j J / s2
(12)
(13)
(4) Menghitung nilai i(n) (i 1... N 1), n 1 yang baru.
- Menghitung vektor k dari cross-product i dan j.
- Menghitung koordinat z dari Z0 yang merupakan vektor
translasi dengan Z0 = f / s dimana f adalah focal length
dari kamera.
1
M0 Mi .k
- Menghitung: i ( n )
(14)
Z0
Gambar 3. Proyeksi Objek dengan Algoritma POSIT
(5) Apabila i (n ) i ( n 1) lebih besar dari threshold yang
sudah ditentukan maka n = n + 1 dan kembali ke langkah 3.
(6) Jika sudah kurang dari threshold maka munculkan Pose
dengan nilai yang ditemukan dari iterasi terakhir.
Vektor translasi OM0 adalah OM0 = Om0/s dan matriks
rotasi adalah matriks dengan barisan vektor i, j, dan k.
Gambar 4. Hasil Algoritma POSIT
F. Estimasi Pose Kepala
Estimasi dari pose kepala pengguna [8] saat menggunakan
aplikasi ini akan memanfaatkan ketiga algoritma yang
sebelumnya sudah disebutkan, yaitu Haar-like features, Active
Shape Model, dan POSIT. Langkah yang digunakan untuk
pendeteksian wajah menggunakan Haar-like features, untuk
melakukan pendeteksian titik fitur wajah pengguna dengan
Active Shape Model dan untuk mengambil pose dari wajah
pengguna dengan memanfaatkan algoritma POSIT.
Pengambilan pose akan menggunakan titik fitur pada wajah
pengguna yang sebelumnya sudah didapatkan dengan Active
Shape Model.
Gambar 2. Perspective Projection dan Ortographic Projection [5]
Perlu diketahui bahwa penentuan titik referensi objek harus
berada pada titik awal sumbu koordinat. Pada gambar 3
diperlihatkan ilustrasi proyeksi objek berbentuk kubus dengan
algoritma POSIT.
Gambar 5. Titik Fitur pada Wajah yang Digunakan untuk Proyeksi pada
Algoritma POSIT
III. HASIL UJI COBA
Sesuai dengan cara kerja sebuah aplikasi augmented
reality, maka pengguna akan melihat penggabungan antara
keadaan dunia nyata dan dunia virtual. Keadaan pada dunia
nyata dimana terdapat pengguna akan ditangkap menggunakan
webcam. Sedangkan keadaan pada dunia virtual akan dibentuk
menggunakan grafis dari komputer. Proses yang terjadi dalam
penggabungan dunia nyata dan dunia virtual akan melibatkan
beberapa algoritma terkait.
Pada aplikasi ini pengguna hanya perlu untuk berada di
depan webcam dan mengaktifkan webcam tersebut. Setelah
itu, gambar tampilan wajah pengguna yang telah terpasang
frame kacamata virtual akan diperlihatkan pada aplikasi.
Dengan bantuan dari webcam maka pengembangan
program simulator frame kacamata ini dapat bekerja secara
real-time layaknya sebuah cermin bagi pengguna dan
memberikan kesan realistis.
Dari hasil uji coba yang telah dilakukan terhadap
program simulator ini, diketahui terdapat beberapa hal.
A. Akurasi Pendeteksian wajah
1. Resolusi Image
Pada ujicoba berikut telah terlihat bahwa pendeteksian
wajah atau face tracking yang digunakan dalam program
diketahui memiliki perubahan kecepatan kinerja yang
signifikan sesuai pada resolusi dari image sebagai input.
Dengan melakukan percobaan pada penggunaan image
dari berbagai resolusi dengan perbandingan resolusi yang
sama yaitu 4 : 3, diketahui bahwa image dengan resolusi yang
rendah dapat mempercepat kinerja program dan menambah
jumlah frame per second dari hasil output program.
Semakin rendah resolusi yang digunakan, maka frame per
second yang didapatkan semakin tinggi. Untuk perbandingan
resolusi dapat dilihat pada tabel 1.
TABLE I.
No
Resolusi
FACIAL EXPRESSIONS OF BASIC EMOTIONS [16]
Frame Per Second (FPS)
1
320 x 240
15 – 18
2
480 x 360
12 – 15
3
600 x 400
10 – 12
2. Brightness Image
Ujicoba berikutnya adalah mengenai keakuratan
pendeteksian wajah yang digunakan pada program. Diketahui
bahwa keakuratan pendeteksian ini akan bergantung pada
bermacam-macam faktor seperti brightness, ketajaman image,
noise. Pada kasus brightness, maka diketahui bahwa intensitas
brightness yang terdapat pada image akan mempengaruhi
keakuratan pendeteksian. Perbandingan intensitas brightness
dan hasil metode active shape model akan diperlihatkan pada
gambar 6.
Melalui ujicoba diketahui bahwa pendeteksian wajah pada
program ini memerlukan brightness yang tidak terlalu tinggi
maupun tidak terlalu rendah. Brightness yang terlalu tinggi
dan terlalu rendah akan menyebabkan pendeteksian wajah
tidak akurat.
+64%
+10%
-64%
Gambar 6. Pendeteksian Wajah dalam Brightness yang Berbeda
3. Objek dalam Image
Ujicoba selanjutnya adalah tentang objek dalam image.
Seringkali dalam image didapatkan objek yang dapat
menghalangi wajah.
Diketahui dengan menggunakan algoritma ASM yang
sudah dikembangkan maka pendeteksian wajah menjadi lebih
akurat walaupun terhalang oleh objek. Walau demikian bagian
yang terhalang oleh objek tidak diperbolehkan menutupi lebih
dari ¼ jumlah titik feature pada wajah. Hasil pendeteksian
wajah dapat dilihat pada gambar 7.
Gambar 7. Pendeteksian pada Wajah yang Terhalang Sebagian
4. Multiple Faces dalam Image
Pada ujicoba dengan beberapa wajah dalam image input,
maka diketahui bahwa pendeteksian wajah akan mendeteksi
wajah yang terdeteksi lebih dahulu dengan metode haar-like
features. Jika program mendapati dua wajah yang terdeteksi
bergantian pada tiap frame input maka akan terjadi pergeseran
tak tentu pada hasil program. Hasil pendeteksian dengan lebih
dari satu wajah dalam image dapat dilihat pada gambar 8.
Gambar 8. Pendeteksian jika Terdapat Lebih dari Satu Wajah
B. Akurasi Estimasi Pose Kepala
Ujicoba pada pose kepala pengguna dalam program
menggunakan algoritma POSIT dimana didapatkan matriks
rotasi dan vektor translasi sebagai hasilnya. Hasil matriks
rotasi dan vektor translasi yang didapatkan dari algoritma
POSIT dapat dikatakan benar walaupun tidak akurat. Hal ini
dikarenakan hasil dari pendeteksian titik fitur pada wajah
dengan Active Shape Model yang tidak bersifat konstan
sehingga menyebabkan hasil yang tidak akurat pada perkiraan
pose kepala pengguna.
Hasil error pada perkiraan pose kepala pengguna memiliki
kesalahan sampai dengan ± 10 derajat. Hal ini menyebabkan
pergeseran titik pada hasil yang sebenarnya sehingga
mengakibatkan pergeseran letak frame kacamata pada output
program. Namun pergeseran tersebut tidak sampai pada tahap
yang mengganggu fungsionalitas program. Contoh pergeseran
pada hasil perkiraan pose kepala pengguna dapat dilihat pada
gambar 9.
2.
3.
4.
5.
dikarenakan faktor shape model yang digunakan maupun
efisiensi algoritma.
Aplikasi augmented reality harus didukung pemilihan
algoritma yang tepat karena dituntut untuk dapat berjalan
secara real-time.
Pemilihan image input yang tepat dalam penerapan
algoritma active shape model dapat mempengaruhi hasil
yang diperoleh. Filtering dan pemilihan tempat
pengambilan gambar pada input sebelum dilakukan
penerapan algoritma active shape model akan sangat
berguna untuk mendapatkan hasil yang lebih baik.
Algoritma POSIT memiliki hasil yang sangat bergantung
pada titik pada image yang digunakan sebagai input-nya.
Dalam pengembangan program simulator, akan lebih baik
apabila dilakukan pada tempat dengan pencahayaan yang
baik serta menggunakan webcam yang memiliki fokus dan
ketajaman gambar yang baik.
V.
Gambar 9. Pengaplikasian pose kepala pengguna pada program
C. Hasil Pengembangan Program Simulator Frame
Kacamata Menggunakan Augmented Reality
Pada ujicoba pengembangan program simulatort
didapatkan hasil augmented reality yang cukup layak untuk
digunakan dari segi kecepatan dan akurasi. Frame kacamata
yang digunakan dibuat menggunakan OpenGL dan diletakkan
pada lokasi sesuai dengan hasil pendeteksian wajah. Pose yang
dilakukan sebelumnya menggunakan teknik masking. Gambar
hasil aplikasi dapat dilihat pada gambar 10.
Gambar 10. Hasil Program Penembangan Simulator dengan AR
IV.
KESIMPULAN
Dari hasil analisa terhadap implementasi yang sudah
dilakukan, maka dapat ditarik kesimpulan sebagai berikut:
1. Algoritma active shape model dalam implementasinya
memiliki tingkat error yang tidak dapat dihindari
REFERENSI
[1] Baker, K. Singular Value Decomposition Tutorial. The
Ohio State University. 2005.
[2] Cootes, T. F. Active Shape Models – Smart Snakes.
British Machine Vision Conference. 1992.
[3] Cootes, T. F., C.J. Taylor. Statistical Models of
Appearance for Computer Vision. University of
Manchester. 2004.
[4] Cootes, T. F., C.J. Taylor, D.H. Cooper, J. Graham.
Active shape models - their training and application.
1995.
[5] Dementhon, D., Larry S. D. Model-Based Object Pose
in 25 Lines of Code. Paper presented at International
Journal of Computer Vision. 1995.
[6] Gonzales, R., Woods, R. Digital Image Processing
Second Edition. Prentice Hall. 2002.
[7] Katherine, A., G. Arceneaux, A. John. Real Time Face
And Facial Feature Detection and Tracking. Paper
presented at Midwest Instruction and Computing
Symposium. 2010.
[8] Martins, P., J. Batista. Monocular Head Pose
Estimation. Paper presented at International Conference
on Image Analysis and Recognition. 2008.
[9] Treiber, M. An Introduction to Object Recognition.
Springer. 2010.
[10] Viola, Jones. Rapid Object Detection using Boosted
Cascade of Simple Features. Paper presented at
Computer Vision and Pattern Recognition. 2001.
Secara Real-Time 3D Face Tracking dengan
Menggunakan Augmented Reality
Endang Setyati
David Alexandre, Daniel Widjaja
Information Technology Department
Sekolah Tinggi Teknik Surabaya
endang@stts.edu, endang11@mhs.ee.its.ac.id
Informatic Department
Sekolah Tinggi Teknik Surabaya
davidalexandre@gmail.com, wijaya.pas@gmail.com
Abstract— Augmented Reality (AR) adalah penggabungan antara
objek buatan hasil penghitungan komputer dengan dunia nyata.
Objek buatan tersebut berasal dari grafik dalam bentuk tiga
dimensi. Aplikasi yang dibuat dengan AR dituntut untuk dapat
bekerja secara real-time dan dapat berinteraksi dengan pengguna.
Penerapan AR dalam paper ini, digunakan untuk pengembangan
program simulator model frame kacamata. Pengguna hanya perlu
berada dalam jangkauan webcam saat mengaktifkan fitur
pemasangan frame kacamata pada aplikasi dan model frame
kacamata buatan akan terpasang dengan sendirinya pada wajah
pengguna. Pendeteksian wajah atau face tracking yang digunakan,
memiliki perubahan kecepatan kinerja yang signifikan
sesuai pada resolusi dari image sebagai input. Semakin
rendah resolusi yang digunakan, maka frame per second
yang didapatkan semakin tinggi. Sehingga untuk
pendeteksian wajah pada program simulator ini, resolusi
memiliki perbandingan terbalik dengan frame per second.
Keywords: Augmented Reality, Face Tracking.
I. PENDAHULUAN
Penggunaan AR sangat erat kaitannya dengan dunia
computer vision. Pada umumnya media yang digunakan
adalah video-camera dan sebuah marker. Dengan posisi dari
marker yang sudah dideteksi tersebut, maka AR dapat
dilakukan.
Face detection atau face tracking adalah salah satu hal
yang mengalami perkembangan pesat dalam dunia computer
vision. Berbagai macam algoritma dan metode telah
diterapkan untuk melakukan pendeteksian wajah. Hal ini
didukung dengan semakin luasnya manfaat yang dapat
diperoleh dari pengembangan face detection. Aplikasi dari
face detection dapat menggunakan media video-camera dan
wajah pengguna aplikasi sebagai input.
Salah satu perkembangan yang cukup berpengaruh adalah
pada pengolahan data wajah secara dua dimensi. Dari hasil
penelitian diperoleh fakta bahwa pengubahan data wajah dari
dua dimensi (2D) dimodelkan pada sebuah ruang tiga dimensi
(3D) adalah riil. Melihat dari hasil tersebut berdampak pada
semakin luas hal-hal yang dapat dilakukan oleh face detection.
Ide dasar dari pemodelan ini adalah untuk memperbaiki
kelemahan-kelemahan yang diperoleh apabila hanya dilakukan
pendeteksian secara 2D. Contohnya, dengan pendeteksian
secara 2D penghitungan tidak dapat memperkirakan bentuk
dan arah wajah sebaik pendeteksian 3D. Melalui beberapa
pendekatan yang tepat, pendeteksian wajah secara 3D tersebut
dapat semakin melebarkan manfaat dari pendeteksian wajah
seperti face recognition yang lebih akurat maupun untuk
penggunaan AR.
Dalam implementasinya, aplikasi augmented reality akan
menggunakan face tracking untuk melakukan simulasi frame
kacamata. Cara yang digunakan adalah dengan memanfaatkan
hasil face tracking sebagai marker dan kemudian dilakukan
proses untuk pengenalan model wajah dalam tiga dimensi
untuk memunculkan AR berupa frame kacamata. Dengan
demikian program yang dihasilkan akan menjadi simulator
bagi pengguna untuk melakukan simulasi pemakaian frame
kacamata.
Masalah yang dihadapi pada implementasi adalah
bagaimana cara untuk melakukan proses pendeteksian wajah,
perkiraan pose wajah dan penggambaran frame kacamata
secara cepat dan akurat. Dikarenakan aplikasi AR ini dituntut
untuk dapat bekerja secara real-time sehingga pemilihan
metode akan sangat berpengaruh pada hasil akhir dari
implementasi.
II. REAL TIME 3D FACE TRACKING
A. Augmented Reality
AR adalah istilah yang mengacu pada terlihatnya objek
pada dunia nyata dimana objek tersebut dibuat oleh komputer.
Secara konsep, AR berupa keadaan pada dunia nyata yang
dimodifikasi oleh komputer sehingga menampakkan keadaan
yang baru. Input yang dapat digunakan pada AR dapat berupa
suara, video, image, maupun GPS. Namun pada skala yang
lebih besar, AR dapat melibatkan berbagai macam sensor dan
lingkungan khusus.
Cara kerja dari AR melibatkan input berupa posisi atau
koordinat pada masalah riil, proses berupa penghitungan input,
dan output berupa objek AR yang telah sesuai dengan hasil
penghitungan proses. Tentu saja objek yang akan ditampilkan
pada AR akan disiapkan dahulu sebelumnya berupa objek 3D.
Berdasarkan pada pendeteksiannya AR dapat dibagi
menjadi dua bagian, pendeteksian tanpa marker (markerless
tracking) dan pendeteksian dengan marker (marked-based
tracking). Pendeteksian dengan marker pada augmented
reality akan melibatkan marker atau penanda sebagai penentu
inputnya. Untuk itu algoritma yang digunakan akan berupa
marker tracking dimana akan dicari posisi dan tipe marker
yang terdeteksi untuk menghasilkan AR dengan posisi yang
akurat. Hasil yang diperoleh umumnya adalah berupa gambar
dari objek 3D yang menempel pada marker dengan posisi
yang menyesuaikan letak marker. Tentu saja untuk
menggunakan AR pada metode ini, seorang pengguna
haruslah memiliki marker tersebut terlebih dahulu untuk dapat
mengaktifkan objek AR.
Pada pendeteksian tanpa marker, AR menggunakan
algoritma tertentu sebagai penentu inputnya seperti object
tracking. Sebagai contohnya dapat digunakan algoritma handtracking, algoritma face-tracking, dan algoritma objecttracking. Hasil dari algoritma tersebut akan digunakan sebagai
penentu posisi objek dari AR.
Dalam perkembangannya, AR telah dikembangkan dengan
penerapan berbagai macam metode dan algoritma untuk
menghasilkan AR yang lebih baik dan akurat. Selain itu
dikembangkan pula alat pendukung yang lebih baik pada AR.
Contohnya kacamata yang digunakan sebagai alat output yang
dapat dipakai secara langsung untuk melihat hasil AR.
B. Haar-like Features
Haar-like features [10] adalah salah satu cara untuk
melakukan pendeteksian wajah. Cara kerja dari metode ini
adalah dengan melakukan pengubahan suatu bagian image
(Region of Interest) menjadi sebuah nilai. Pengubahan suatu
daerah image yang memiliki wajah manusia menjadi nilai
tertentu dapat menjadikan metode ini salah satu metode
pendeteksian wajah yang cepat dan akurat. Nama dari haarlike features didapatkan dari Viola dan Jones yang melakukan
penghitungan yang memiliki kemiripan dengan metode haar
wavelet transform.
Secara lebih detail, haar-like features bekerja dengan
menandai daerah yang berdekatan pada sebuah image menjadi
area pixel berdasarkan classifier-nya. Kemudian dilakukan
penghitungan intensitas area pixel pada daerah tersebut dan
menghitung perbedaan masing-masing daerah tersebut.
Perbedaan yang didapatkan digunakan untuk mengkategorisasi
tiap daerah sehingga dapat digunakan untuk melakukan
pendeteksian objek.
C. Statistical Shape Model
Cootes dan Taylor [3] menjelaskan bahwa bentuk dari
sebuah objek dapat direpresentasikan dengan himpunan dari n
titik, yang dapat berada dalam 2D atau 3D. Bentuk dari sebuah
objek tidak akan berubah walaupun mengalami translasi,
rotasi, maupun skalasi.
Dalam Statistical Shape Model dikembangkan sebuah
model yang memungkinkan untuk menganalisa bentuk yang
baru dan menghasilkan bentuk yang sesuai dengan yang ada
pada training set. Training set biasanya didapatkan dari
sejumlah training images yang ditandai secara manual.
Dengan menganalisa variasi bentuk dari training set, dibentuk
sebuah model yang dapat menyamai variasi tersebut. Model
ini biasanya disebut sebagai Point Distribution Model.
Pemilihan landmark yang bagus adalah pada titik-titik
yang memiliki lokasi yang konsisten dari satu gambar ke
gambar yang lain. Metode yang paling sederhana untuk
mendapatkan training set adalah dengan menandai sejumlah
gambar dengan sejumlah titik secara manual. Dalam gambar
2D, titik-titik dapat diletakkan pada sudut dari batas objek,
persilangan antara batas objek, maupun landmark yang mudah
didapatkan lokasinya. Bagaimanapun juga, titik-titik tersebut
hanya dapat memberikan gambaran kasar dari bentuk objek.
Untuk mengatasi hal ini, daftar dari titik-titik ini ditambahkan
dengan titik-titik dari batas objek yang disusun supaya
memiliki jarak yang sama [3].
Dalam gambar 2D, n titik landmark, {(xi, yi)}, untuk
sebuah sampel data training, dapat direpresentasikan sebagai
vektor dengan 2n elemen, X, dimana:
X = (xi, ..., xn , yi, ..., yn) T
(1)
Diberikan sampel data training sejumlah s, dihasilkan vektor
X sejumlah s. Sebelum melakukan analisa statistik terhadap
vektor-vektor tersebut, sangatlah penting bahwa bentuk dari
training set tersebut direpresentasikan dalam koordinat yang
sama dengan data yang ada pada training set. Pengolahan
training set menyelaraskan setiap bentuk sehingga total jarak
dari setiap bentuk ke bentuk rata-rata diminimalkan [3].
Misalkan terdapat dua buah bentuk, x1 dan x2, yang
berpusat pada (0,0). Skalasi dan rotasi akan dilakukan
terhadap x1 dengan (s,θ) untuk meminimalkan | sAx1 - x2 |,
dimana A merupakan rotasi dari x dengan sudut sebesar θ.
Maka :
a
( x1 .x 2 )
x1
(2)
2
n
b
( x1i y 2i x2i y1i )
i 1
x1
2
(3)
s2 = a2 + b2
(4)
b
tan1
a
(5)
Jika kedua bentuk tersebut tidak berpusat pada (0,0), maka
harus dilakukan translasi terlebih dahulu supaya kedua bentuk
berpusat pada (0,0). Memodelkan variasi shape, jika sudah
mendapatkan sekumpulan titik-titik xi sejumlah s yang telah
diselaraskan dalam kordinat frame yang sama. Vektor-vektor
tersebut membentuk sebuah distribusi pada n dimensional
space. Jika distribusi ini dapat dimodelkan, dapat dihasilkan
data baru yang sesuai dengan data yang ada pada training set
dan dapat memeriksa sebuah bentuk apakah bentuk tersebut
merupakan bentuk yang sesuai dengan bentuk-bentuk yang
ada pada training set.
D. Active Shape Model
Active Shape Model (ASM) [4] adalah sebuah metode
dimana model dari sebuah objek secara iteratif berubah bentuk
untuk mencocokkan model tersebut pada sebuah objek pada
gambar [2]. Metode tersebut menggunakan model yang
fleksibel yang didapatkan dari sejumlah sampel data training.
Diberikan sebuah posisi perkiraan pada gambar, ASM
dapat secara iteratif dicocokkan pada gambar. Dengan
memilih satu set shape parameter b untuk Point Distribution
Model, bentuk dari model dapat didefinisikan dalam frame
koordinat yang berpusat pada objek. Instance X pada model
dalam gambar dapat dibuat dengan mendefinisikan posisi,
orientasi, dan skala:
X = M(s,θ)[x] + Xc
(6)
dimana: Xc = (Xc, Yc,..., Xc, Yc)T; M(s,θ)[.] adalah rotasi
sebesar θ dan skala sebesar s; (Xc, Yc) adalah posisi pusat dari
model pada frame gambar.
Secara garis besar, Active Shape Model bekerja dengan
mengulangi langkah-langkah berikut:
(1) Cari pada gambar di sekeliling setiap titik untuk lokasi
yang lebih baik bagi titik tersebut;
(2) Meng-update pose dan shape parameter (Xb, Yb, s, θ, b)
pada model sehingga sesuai dengan posisi baru yang
ditemukan;
(3) Memberikan konstrain pada parameter b untuk
memastikan bentuk yang sesuai (Misal |bi| < 3√λi);
(4) Ulangi sampai konvergen (konvergensi dicapai apabila
tidak terdapat perbedaan berarti antara sebuah iterasi
dengan iterasi sebelumnya).
Dalam prakteknya, dilakukan pencarian sepanjang profile
normal menuju batas objek pada setiap titik pada model. Cara
paling mudah adalah dengan mendapatkan lokasi dari edge
dengan intensitas paling besar (dengan orientasi jika
diketahui) sepanjang profile. Posisi dari edge ini merupakan
posisi baru dari titik pada model.
Bagaimanapun juga, titik pada model tidak selalu terletak
pada edge dengan intensitas yang paling besar pada local
structure. Titik-titik tersebut dapat merepresentasikan edge
dengan intensitas yang lebih rendah maupun struktur gambar
yang lain. Pendekatan yang paling baik adalah dengan
mempelajari dari training set apa yang dicari dari gambar 1.
Gambar 1. Implementasi Iterasi yang Dilakukan dengan Menggunakan
ASM
E. Pose from Ortography and Scaling with Iteration
Pose from Orthography and Scaling with Iteration atau
disebut POSIT [9] adalah algoritma yang dapat digunakan
untuk mengestimasi posisi dari objek tertentu dalam bidang
3D. Algoritma ini berasal dari Dementhon pada tahun 1995
[5]. Untuk mengukur pose dari sebuah objek, diperlukan
paling sedikit empat titik non-coplanar objek dari image.
Karena itu akan digunakan proyeksi bidang 3D dari titik-titik
2D yang ditemukan sebagai input dari algoritma ini.
Algoritma ini memperkirakan proyeksi perspektif dari
proyeksi ortografi objek pada image yang sudah disesuaikan
skalanya. Dari hasil proyeksi tersebut ditemukan rotation
matrix dan translation vector dari objek.
Dengan demikian tujuan dari algoritma ini adalah untuk
menghitung matriks rotasi dan vektor tanslasi dari sebuah
objek. Matriks rotasi R dari sebuah objek adalah sebuah
matriks yang terdiri dari koordinat tiga buah vektor i, j, dan k
dari sistem koordinat kamera yang diubah menjadi sistem
koordinat objek. Fungsi dari matriks rotasi tersebut adalah
untuk melakukan penghitungan dari sistem koordinat objek
dari vektor seperti M0Mi menjadi sistem koordinat kamera.
Hasil perkalian dari M0Mi, i antara baris pertama matriks dan
vektor M0Mi akan memberikan proyeksi vektor tersebut pada
vektor i yang berada pada koordinat kamera. Sebagai contoh
koordinat Xi – X0 dari M0Mi, selama koordinat M0Mi dan
barisan vektor i berada pada sistem koordinat yang sama maka
akan didapatkan hasil sistem koordinat objek sebagai berikut.
iu i v iw
R ju j v j w
k u k v k w
(7)
dimana iu, iv, iw adalah koordinat i dalam sistem koordinat
objek (M0u, M0v, M0w).
Untuk mendapatkan matriks rotasi, hanya memerlukan
penghitungan i dan j pada sistem koordinat objek. Vektor k
akan didapatkan melalui cross-product dari i x j. Sedangkan
untuk vektor translasi, T adalah vektor OM0 diantara titik
proyeksi O dan titik referensi objek yaitu M0 . Koordinat
vektor translasi yang didapatkan berupa X0, Y0, dan Z0.
Pada gambar 2 ditunjukkan proyeksi perspektif (mi) dan
proyeksi ortogonal yang telah diskalakan (Pi) dari titik objek
Mi yang memiliki titik referensi M0. Untuk langkah-langkah
dari implementasi algoritma POSIT yaitu :
(1) Melakukan pengambilan titik fitur objek yang terlihat pada
image.
Bentuklah matriks A dengan dimensi (N-1)x3, dimana
setiap baris matriks berisikan vektor M0Mi dari titik fitur
M0 ke titik fitur Mi. Buatlah 3x(N-1) matriks B sebagai
pseudoinverse dari matriks A.
(2) Inisialisasikan: i ( 0) 0 , (i 1... N 1), n 1
(3) Lakukan iterasi Penghitungan i, j, dan Z0:
- Menghitung vektor image X’ dengan koordinat N-1 dari
rumus :
X' x i (1
) x 0 , (i 1... N 1), n 1
(9)
i (n 1)
dan menghitung vektor image Y’ dengan koordinat N-1
dari rumus:
Y' y i (1 i (n1) ) y 0 , (i 1... N 1), n 1
(10)
- Lakukan perkalian 3x(N-1) matriks B dengan vektor
koordinat N-1 untuk memperoleh vektor I dan J yang
memiliki tiga koordinat.
I = B.X’ dan J = B.Y’
(11)
- Menghitung skala s dari proyeksi sebagai rata-rata dari
normalisasi vektor I dan J.
s1 (I . I)1 / 2 , s2 (J . J )1 / 2 , s (s1 s2 ) / 2
- Menghitung vektor i dan j.
i I / s1 , j J / s2
(12)
(13)
(4) Menghitung nilai i(n) (i 1... N 1), n 1 yang baru.
- Menghitung vektor k dari cross-product i dan j.
- Menghitung koordinat z dari Z0 yang merupakan vektor
translasi dengan Z0 = f / s dimana f adalah focal length
dari kamera.
1
M0 Mi .k
- Menghitung: i ( n )
(14)
Z0
Gambar 3. Proyeksi Objek dengan Algoritma POSIT
(5) Apabila i (n ) i ( n 1) lebih besar dari threshold yang
sudah ditentukan maka n = n + 1 dan kembali ke langkah 3.
(6) Jika sudah kurang dari threshold maka munculkan Pose
dengan nilai yang ditemukan dari iterasi terakhir.
Vektor translasi OM0 adalah OM0 = Om0/s dan matriks
rotasi adalah matriks dengan barisan vektor i, j, dan k.
Gambar 4. Hasil Algoritma POSIT
F. Estimasi Pose Kepala
Estimasi dari pose kepala pengguna [8] saat menggunakan
aplikasi ini akan memanfaatkan ketiga algoritma yang
sebelumnya sudah disebutkan, yaitu Haar-like features, Active
Shape Model, dan POSIT. Langkah yang digunakan untuk
pendeteksian wajah menggunakan Haar-like features, untuk
melakukan pendeteksian titik fitur wajah pengguna dengan
Active Shape Model dan untuk mengambil pose dari wajah
pengguna dengan memanfaatkan algoritma POSIT.
Pengambilan pose akan menggunakan titik fitur pada wajah
pengguna yang sebelumnya sudah didapatkan dengan Active
Shape Model.
Gambar 2. Perspective Projection dan Ortographic Projection [5]
Perlu diketahui bahwa penentuan titik referensi objek harus
berada pada titik awal sumbu koordinat. Pada gambar 3
diperlihatkan ilustrasi proyeksi objek berbentuk kubus dengan
algoritma POSIT.
Gambar 5. Titik Fitur pada Wajah yang Digunakan untuk Proyeksi pada
Algoritma POSIT
III. HASIL UJI COBA
Sesuai dengan cara kerja sebuah aplikasi augmented
reality, maka pengguna akan melihat penggabungan antara
keadaan dunia nyata dan dunia virtual. Keadaan pada dunia
nyata dimana terdapat pengguna akan ditangkap menggunakan
webcam. Sedangkan keadaan pada dunia virtual akan dibentuk
menggunakan grafis dari komputer. Proses yang terjadi dalam
penggabungan dunia nyata dan dunia virtual akan melibatkan
beberapa algoritma terkait.
Pada aplikasi ini pengguna hanya perlu untuk berada di
depan webcam dan mengaktifkan webcam tersebut. Setelah
itu, gambar tampilan wajah pengguna yang telah terpasang
frame kacamata virtual akan diperlihatkan pada aplikasi.
Dengan bantuan dari webcam maka pengembangan
program simulator frame kacamata ini dapat bekerja secara
real-time layaknya sebuah cermin bagi pengguna dan
memberikan kesan realistis.
Dari hasil uji coba yang telah dilakukan terhadap
program simulator ini, diketahui terdapat beberapa hal.
A. Akurasi Pendeteksian wajah
1. Resolusi Image
Pada ujicoba berikut telah terlihat bahwa pendeteksian
wajah atau face tracking yang digunakan dalam program
diketahui memiliki perubahan kecepatan kinerja yang
signifikan sesuai pada resolusi dari image sebagai input.
Dengan melakukan percobaan pada penggunaan image
dari berbagai resolusi dengan perbandingan resolusi yang
sama yaitu 4 : 3, diketahui bahwa image dengan resolusi yang
rendah dapat mempercepat kinerja program dan menambah
jumlah frame per second dari hasil output program.
Semakin rendah resolusi yang digunakan, maka frame per
second yang didapatkan semakin tinggi. Untuk perbandingan
resolusi dapat dilihat pada tabel 1.
TABLE I.
No
Resolusi
FACIAL EXPRESSIONS OF BASIC EMOTIONS [16]
Frame Per Second (FPS)
1
320 x 240
15 – 18
2
480 x 360
12 – 15
3
600 x 400
10 – 12
2. Brightness Image
Ujicoba berikutnya adalah mengenai keakuratan
pendeteksian wajah yang digunakan pada program. Diketahui
bahwa keakuratan pendeteksian ini akan bergantung pada
bermacam-macam faktor seperti brightness, ketajaman image,
noise. Pada kasus brightness, maka diketahui bahwa intensitas
brightness yang terdapat pada image akan mempengaruhi
keakuratan pendeteksian. Perbandingan intensitas brightness
dan hasil metode active shape model akan diperlihatkan pada
gambar 6.
Melalui ujicoba diketahui bahwa pendeteksian wajah pada
program ini memerlukan brightness yang tidak terlalu tinggi
maupun tidak terlalu rendah. Brightness yang terlalu tinggi
dan terlalu rendah akan menyebabkan pendeteksian wajah
tidak akurat.
+64%
+10%
-64%
Gambar 6. Pendeteksian Wajah dalam Brightness yang Berbeda
3. Objek dalam Image
Ujicoba selanjutnya adalah tentang objek dalam image.
Seringkali dalam image didapatkan objek yang dapat
menghalangi wajah.
Diketahui dengan menggunakan algoritma ASM yang
sudah dikembangkan maka pendeteksian wajah menjadi lebih
akurat walaupun terhalang oleh objek. Walau demikian bagian
yang terhalang oleh objek tidak diperbolehkan menutupi lebih
dari ¼ jumlah titik feature pada wajah. Hasil pendeteksian
wajah dapat dilihat pada gambar 7.
Gambar 7. Pendeteksian pada Wajah yang Terhalang Sebagian
4. Multiple Faces dalam Image
Pada ujicoba dengan beberapa wajah dalam image input,
maka diketahui bahwa pendeteksian wajah akan mendeteksi
wajah yang terdeteksi lebih dahulu dengan metode haar-like
features. Jika program mendapati dua wajah yang terdeteksi
bergantian pada tiap frame input maka akan terjadi pergeseran
tak tentu pada hasil program. Hasil pendeteksian dengan lebih
dari satu wajah dalam image dapat dilihat pada gambar 8.
Gambar 8. Pendeteksian jika Terdapat Lebih dari Satu Wajah
B. Akurasi Estimasi Pose Kepala
Ujicoba pada pose kepala pengguna dalam program
menggunakan algoritma POSIT dimana didapatkan matriks
rotasi dan vektor translasi sebagai hasilnya. Hasil matriks
rotasi dan vektor translasi yang didapatkan dari algoritma
POSIT dapat dikatakan benar walaupun tidak akurat. Hal ini
dikarenakan hasil dari pendeteksian titik fitur pada wajah
dengan Active Shape Model yang tidak bersifat konstan
sehingga menyebabkan hasil yang tidak akurat pada perkiraan
pose kepala pengguna.
Hasil error pada perkiraan pose kepala pengguna memiliki
kesalahan sampai dengan ± 10 derajat. Hal ini menyebabkan
pergeseran titik pada hasil yang sebenarnya sehingga
mengakibatkan pergeseran letak frame kacamata pada output
program. Namun pergeseran tersebut tidak sampai pada tahap
yang mengganggu fungsionalitas program. Contoh pergeseran
pada hasil perkiraan pose kepala pengguna dapat dilihat pada
gambar 9.
2.
3.
4.
5.
dikarenakan faktor shape model yang digunakan maupun
efisiensi algoritma.
Aplikasi augmented reality harus didukung pemilihan
algoritma yang tepat karena dituntut untuk dapat berjalan
secara real-time.
Pemilihan image input yang tepat dalam penerapan
algoritma active shape model dapat mempengaruhi hasil
yang diperoleh. Filtering dan pemilihan tempat
pengambilan gambar pada input sebelum dilakukan
penerapan algoritma active shape model akan sangat
berguna untuk mendapatkan hasil yang lebih baik.
Algoritma POSIT memiliki hasil yang sangat bergantung
pada titik pada image yang digunakan sebagai input-nya.
Dalam pengembangan program simulator, akan lebih baik
apabila dilakukan pada tempat dengan pencahayaan yang
baik serta menggunakan webcam yang memiliki fokus dan
ketajaman gambar yang baik.
V.
Gambar 9. Pengaplikasian pose kepala pengguna pada program
C. Hasil Pengembangan Program Simulator Frame
Kacamata Menggunakan Augmented Reality
Pada ujicoba pengembangan program simulatort
didapatkan hasil augmented reality yang cukup layak untuk
digunakan dari segi kecepatan dan akurasi. Frame kacamata
yang digunakan dibuat menggunakan OpenGL dan diletakkan
pada lokasi sesuai dengan hasil pendeteksian wajah. Pose yang
dilakukan sebelumnya menggunakan teknik masking. Gambar
hasil aplikasi dapat dilihat pada gambar 10.
Gambar 10. Hasil Program Penembangan Simulator dengan AR
IV.
KESIMPULAN
Dari hasil analisa terhadap implementasi yang sudah
dilakukan, maka dapat ditarik kesimpulan sebagai berikut:
1. Algoritma active shape model dalam implementasinya
memiliki tingkat error yang tidak dapat dihindari
REFERENSI
[1] Baker, K. Singular Value Decomposition Tutorial. The
Ohio State University. 2005.
[2] Cootes, T. F. Active Shape Models – Smart Snakes.
British Machine Vision Conference. 1992.
[3] Cootes, T. F., C.J. Taylor. Statistical Models of
Appearance for Computer Vision. University of
Manchester. 2004.
[4] Cootes, T. F., C.J. Taylor, D.H. Cooper, J. Graham.
Active shape models - their training and application.
1995.
[5] Dementhon, D., Larry S. D. Model-Based Object Pose
in 25 Lines of Code. Paper presented at International
Journal of Computer Vision. 1995.
[6] Gonzales, R., Woods, R. Digital Image Processing
Second Edition. Prentice Hall. 2002.
[7] Katherine, A., G. Arceneaux, A. John. Real Time Face
And Facial Feature Detection and Tracking. Paper
presented at Midwest Instruction and Computing
Symposium. 2010.
[8] Martins, P., J. Batista. Monocular Head Pose
Estimation. Paper presented at International Conference
on Image Analysis and Recognition. 2008.
[9] Treiber, M. An Introduction to Object Recognition.
Springer. 2010.
[10] Viola, Jones. Rapid Object Detection using Boosted
Cascade of Simple Features. Paper presented at
Computer Vision and Pattern Recognition. 2001.