PENGUKURAN KEMIRIPAN-SEMANTIK CITRA DENGAN ~-' ~-'-"- . -- 'BAG OF WORDS'LOKAL FRAGMEN"--SEMANTIK CITRA ~ -'- ", -- ----- ---- ~,,,,-,~,·--·.'._w_. __ ,._.... ~ . .,,,/ IMAGE SEMANTIC SIMILARITY MEASUREMENT USING 'BAG OF WORDS' LOCAL IMAGE FRAGMENT

PENGUKURAN KEMIRIPAN-SEMANTIK
CITRA DENGAN
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLK
--zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
'BAG
OF WORDS'LOKAL
FRAGMEN"--SEMANTIK CITRA
~
-'----- ---~-'

.

~-'-"-

",

--

··-·.'._w_. __ ,._....

~,,,,-,~,-

~

.

.,,,/

IMAGE SEMANTIC SIMILARITY MEASUREMENT USING 'BAG OF WORDS'
LOCAL IMAGE FRAGMENT
Yeni Herdlyeni', Rahmat Widyanto-, Belawati H. Wldjaja'
1 Departemen
Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor,
Kampus Darmaga, Wing 20 Level V Bogor, Jawa Barat, Indonesia. E-mail: yeni_herdi@ipb.ac.id
2,3Fakultas Ilmu Komputer, Universitas Indonesia, Kampus Depok, Jawa Barat, Indonesia.
E-mail: 2widyanto@cs.ui.ac.id.3bela@cs.ui.ac.id
Received: 15 October 2009, Accepted for publication: 21 December 2009

INTISARI
Penelitian ini mengusulkan sebuah metode baru pengukuran kemiripan citra menggunakan visual citra "bag-ofwords" fragmen lokal semantik citra. Pada metode ini, citra direpresentasikan dengan sederetan fragmen lokal citra.
Fragmen lokal citra adalah bagian citra yang memiliki informasi penting dan secara konsisten muncul bersama pada

citra, Ekstraksi fragmen lokal citra menggunakan pembelajaran secara online. Kemiripan semantik citra diukur
dengan 1) mencari korespondensi antara dua pasang deretan fragmen citra; dan 2) menghitung kemiripan antara
fragmen. Uji coba dilakukan dengan menggunakan database citra benchmark dengan 2,268 citra. Hasil percobaan
menunjukkan bahwa metode yang diusulkan dapat meningkatkan rataan precision sebesar 74%. Hasil percobaan
menunjukkan bahwa metodologi yang diusulkan dapat digunakan untuk mengukur kemiripan semantik citra dan
sesuai dengan persepsi visual manusia.

Kata kunci: bag-of-words, fragmen lokal, kemiripan citra, semantik citrazyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHG
ABSTRACT

This research proposes a new approach for measuring semantic image similarities between visual image using 'bagof-words' semantic local image fragments. In this approach, image representation is represented using an ordered
list of local image fragment. Local image fragment is a part from images which gives a significant information and
appears consistently within images. Local image fragment was extracted using online learning. Image semantic
similarity is measured by J) solving a correspondence problem between two ordered sets offeature; and 2) Calculating similarities between matchedfeatures and dissimilarities between unmatchedfeatures. The methodology has
already been tested on several benchmark image databases containing 2,268 images. The experimental results show
that the proposed method can increase precision by as much as 74% in average. The proposed method is promising
that could be used to measure semantic similarity adequately to human visual similar perception.

Keywords: bag-of-words, local fragment, image similarity, image semanticzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJ

lokal (Local-basedv",

1. PENDAHULUAN

Pada pendekatan

citra direpresentasikan
Dua hal penting dalam pengukuran
citra adalah representasi
an kemiripan

sentasi semantik
perubahan
pengukuran
mengukur

citra dan teknik pengukur-

citra. Representasi

adalah representasi

kemiripan

citra yang baik

citra yang mampu

merepre-

citra dan tidak sensitif terhadap

cahaya,

geometris.

Sedangkan

teknik

citra yang baik adalah yang mampu
kemiripan

citra sesuai dengan persepsi

manusia.

Histogram

representasi
sensitif

tris, karena
informasi

regional

citra, yaitu global

(region-based),

dan

dengan

merupakan

citra global.

terhadap

seluruh

salah

Pendekatan

perubahan

cahaya

pada pendekatan

bagian

satu teknik
ini sangat
dan geome-

ini mengabaikan

spasial citra. Pada pendekatan

citra direpresentasikan

dengan beberapa

citra hasil segmentasi.

Pada pendekatan

regional,
regional
ini, di-

kenai istilah Region of Interest (ROI). Kelemahan
pendekatan

Ada tiga teknik representasi

(global-based),

citra.

global,

ini adalah

segmentasi

yang kurang

baik sehingga ROI yang dihasilkan tidak merepresentasikan

citra yang sebenamya.

Oleh karena itu,

Yeni Herdiyeni dkk.

---

--

--

------

I 49

pada pendekatan lokal, citra direpresentasikan
citra, yaitu citra kelas dan citra bukan kelas.
dengan bagian-bagian tertentu pada citra tanpa
Fragmeri citra dideteksi dengan menggunakan
Normalized Cross Correlation (NCC). Teknik ini
melakukan segmentasi.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
banyak digunakan untuk pencocokan template.
Scale-Invariant Feature Transform (SIFT)
Teknik cross-correlation dimotivasi oleh pengmerupakan salah satu teknik untuk merepresenukuranjarak
Euclid's' dengan formula:
tasikan citra dengan menggunakan pendekatan
Iokal!". Gambar 1 menunjukkan titik utama lokal
deskriptor SIFT.
Deskriptor SIFT juga digunakan untuk membentuk fragmen atau 'visual words' pada temu
kembali citra (Gambar 2)pl. Fragmen citra diperoleh berdasarkan titik utama (key points) citra
dari SIFT. Setelah diperoleh fragmen, selanjutnya
dilakukan perhitungan untuk mengetahui banyaknya jumlah fragmen pada setiap citra. Jumlah
fragmen tersebut direpresentasikan dengan vektor
frekuensi fragmen (Gambar 3).
Setelah citra direpresentasikan dengan vektor

frekuensi fragmen, selanjutnya pengukuran kemiripan citra dilakukan dengan menghitungjarak
vektor. Deskriptor SIFT dapat merepresentasikan
fitur dengan baik karena tidak sensitif terhadap
perubahan skala, rotasi, translasi, dan perubahan pencahayaan!", Namun, SIFT membutuhkan
waktu komputasi yang tinggi dan tidak tepat digunakan untuk ekstraksi citra secara real time",

d2 j,t(u,

v)

= ~)j(x,y)

-t(x-u,y-u)]2

(1)

x,yzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPON
denganfadalah citra, t adalah template (potongan
citra atau fragmen), x dan y adalah posisi piksel
dan u dan v adalah posisi template t.
Jika nilai korelasi antara fragmen dan citra
pada bagian tertentu melebihi nilai ambang batas
(threshold) tertentu yang telah ditetapkan, maka
artinya pada citra tersebut terdeteksi mengandung fragmen. Pada penelitian ini, penentuan
nilai threshold berdasarkan nilai Minimum Cross
Entropy (MCE)[71. Metode MCE menggunakan
teori Kullback-Leibler dalam menghitung jarak
D antara dua distribusi peluang. Jika diasumsikan
P = {Pl,P2, ...,Pn} dan Q = {ql,n, ....,qn} adalah
dua buah distribusi peluang maka cross entropy
didefinisikan dengan:
n
D(P,Q)

po

= LPi1og-1

(2)
Penelitian ini menyajikan algoritma untuk
i=l
qi
mengukur kemiripan citra dengan menggunakanzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
Pada metode Bayes, data pengamatan (data
'bag-of-words' lokal semantik fragmen. Lokal
pelatihan)
dan parameter model dinamakan dengan
semantik fragmen diperoleh melalui proses
variable peubah acakl". Data pelatihan dinyatakan
pembelajaran dengan metode Bayes'". Setiap
dalam bentuk vektor x, Xn = {xl,x2, ..... ,xn}
citra direpresentasikan dengan beberapa fragdengan n adalahjumlah data dan parameter model
men semantik citra. Selanjutnya pengukuran
dinyatakan B=(B(l), ..., B(d)Y dengan d adalah
kemiripan citra dilakukan dengan menghitung
dimensi vektor. Dengan menggunakan fungsi
j.arak vektor.
kepekatan
peluang (probability density function)
Susunan makalah ini terdiri dari enam bab. Bab
dan
distribusi
gabungan p(x, B,Xn} dapat diketahui
1 menjelaskan pendahuluan, bab 2 menjelaskan
parameter model p(xIB} sebagai berikut,
ekstraksi fragmen semantik citra, bab 3 menjelas-

kan pengukuran kemiripan citra, bab 4 dan bab
(3)
5 menjelaskan percobaan dan hasil percobaan.
Bab 6 menjelaskan kesimpulan dan pemanfaatan
dan kepekatan peluang bersyarat (posterior) dari
alagoritma untuk sistem temu kembali citra.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
parameter B dinyatakan dengan teori Bayes,

2.

EKSTRAKSI FRAGMEN
SEMANTIK CITRA

Ekstraksi fragmen semantik citra dilakukan
melalui pembelajaran dengan metode Bayesl".
Pada pembelajaran diperlukan dua kelompok

pee I x,Xn)

=

p(x

I e,Xn)p(e I Xn)
p(x I Xn)

(4)

dengan p(Blx, Xs) adalah posterior, p(xIB, Xs)
adalah likelihood, p(BIXn} merupakan prior, dan
p(xIXn} merupakan distribusi marginallkejadian.

IzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
Instrum entasi, Vol. 34 No.1 January-June 2010
50 zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

Gambar 1.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
Lokal deskriptor SIFTzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

Visual w ord zyxwvutsrqponmlkjihgfedcbaZYXWVUTSR

Visual vocabul

Gambar 2. Pembentukan fragmen dengan deskriptor SIFT

II

i
Visual vocabulary

Gambar 3. Representasi citra dengan vektor frekuensi fragmenzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHG

Yeni Herdiyeni dkk.

I 51

dengan I jmerupakan karakteristik ke- i dari sebuah
Setelah melalui tahap pembelajaran, akan
citra di basis data, sedangkan Q merupakan karakdiperoleh hasil seleksi beberapa potongan bagian
teristik ke-i dari citra kueri.
citra yang mampu merepresentasikan semantik
citra. Gambar 4 menunjukkan contoh beberapa
Semakin dekat nilai cosine similarity ke nilai
bagian hasil deteksi .semantik citra pada kelas
1 (satu) maka semakin mirip citra tersebut dengan
mobil.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
citra kueri.
j

-.••... .. ..

~
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

4. EVALUASI HASIL
III zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
••
PENGUKURAN KEMIRIPAN
-~'"'-~~

, Gambar

4. Contoh beberapa hasil deteksi bagian
semantik objek pada kelas mobil

CITRA

Pada tahap evaluasi dilakukan penilaian
Setelah fragmen terpilih untuk setiap kelas cikinerja sistem dengan melakukan pengukuran
tra melalui proses pembelajaran, tahap selanjutnya
recall dan precision untuk menentukan tingkat
adalah merepresentasikan setiap citrazyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
database
keefektifan hasil pengukuran kemiripan citra.
menggunakan semua fragmen terpilih tersebut.
Recall menyatakan proporsi materi relevan yang
Semua fragmen dideteksi pada setiap citra dengan
ditemukembalikan: Sementara itu, precision memenggunakan Normalized Cross Correlation
nyatakan proporsi materi yang ditemukembalikan
(NCC). Setelah itu, setiap citra direpresentasikan
yang relevan'?'.
dengan vektor korelasi fragmen (Gambar 5).
IRal
. .
IRal
(6)
Precision. = VI
Recall = IRf

..

I

0.673

101167

Vektnr Korebsi

Gambar 5. Representasi citra dengan vektor korelasi
fragmen

3. PENGUKURAN KEMIRIPAN
CITRA
Pada penelitian ini, pengukuran kemiripan dilakukan menggunakan metode pengukuranjarak
vektor dengan nilai vektor merepresentasikan
nilai korelasi fragmen citra. Berikut ini adalah
formula untuk mengukur jarak vektor menggunakan cosine similarity-":

dengan Ra adalah jumlah citra relevan yang
ditemukembalikan, R adalahjumlah citra relevan
yang ada di basis data, danA adalahjumlah seluruh citra yang ditemukembalikan.
Untuk mengevaluasi relevansi citra kueri
dengan hasil kueri juga dilakukan pengukuran
Receiver Operator Characteristic (ROC)[I01.Pengukuran ROC dilakukan untuk mengetahui berapa
jumlah kelas positifyang berhasil dikelasifikasikan sejalan dengan jumlah kelas negatif yang
salah diklasifikasikan. Pada penelitian ini, hasil
kueri yang sesuai dengan citra kueri dinyatakan
dengan kelas positif dan hasil kueri yang tidak
sesuai dengan citra kueri disebut dengan kelas
negatif. Tabell menunjukkan matrik kontingensi
untuk pengukuran ROC.
Tabel 1. Matrik kontingensi
Aktual Positif

Aktual Negatif

Prediksi Positif

TP

FP

Prediksi Negatif

FNzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLK
TN

Berdasarkan

matrik kontingensi

tersebut,

(~~)
ItQ
1:f=l t, X Qi
maka nilai recall, precision, True Positif Rate
srm zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
I Q = -= r==::::::::::--'-r====
(5)
,
IIIIQI
Qf
If
(TPR) dan False Positif Rate (FPR) dapat di.

I~,:,

..J L.t=l

t

X

J~,:,
L.t=l

t

nyatakan sebagai berikut:

521 Instrumentasi, Vol. 34 No.1 January-June 2010

pendeteksian fragmen, maka pada akhimya setiap citra direpresentasikan dalam bentuk vektor
korelasi.
TPzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
Pr ecisionzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
= --(8)
Recall=---

TP

(7)

TP+FN

TP+FP

TruePositifRate

(TPR)

= ---

TP

TP+FN
..
Falsel'ositif Rate (FPR)

= ---

FP

FP+TN

(9)
(10)

. 5. PERCOBAAN DAN HASIL
PERCOBAAN
Database citra yang digunakan pada penelitian ini adalah database dari Microsoft Research
Cambridge Object Recognition Image Database
(MSRCORID). Pada penelitian ini ada lima kelas objek yang digunakan, yaitu kelas kuda (171
citra), mobil (423 citra), sepeda (195 citra), motor (832 citra), dan domba (148 citra). Data citra
uji coba yang digunakan memiliki keragaman
geometris, posisi, pencahayaan dan latar belakang
citra. Hal ini dimaksudkan untuk menguji kemampuan metode yang digunakan dalam mengukur
kemiripan semantik citra. Beberapa contoh citra
yang digunakan pada penelitian ditunjukkan pada
Gambar 6.

Gambar 7. Beberapa fragmen semantik citra hasil
ekstraksi

5.2 PENGUKURAN KEMIRIPAN CITRA
Pada penelitian ini pengukuran kemiripan
citradilakukan dengan menghitung jarak vektor
menggunakan persamaan kosinus. Gambar 8
menunjukkan hasil pengukuran kerniripan citra
untuk kelas sepeda ..Hasil pengukuran kemiripan
citra untuk kelas mobil diperlihatkan pada Gambar 9. Hasil pengukuran kemiripan citra untuk
kelas motor ditunjukkan pada Gambar 10. Hasil
pengukuran kemiripan citra untuk kelas kuda
dan hasil pengukuran kemiripan citra untuk kelas
domba masing-masing diperlihatkan pada Gambar 11 dan Gambar 12.

Gambar 6. Contoh citra database MSRCORID
5.1 EKSTRAKSI FRAGMEN SEMANTIK CITRA
Berdasarkan hasil percobaan, beberapa fragmen semantik citra ditunjukkan pada Gambar 7.
Setelah semua fragmen semantik terpilih
untuk setiap kelas, tahap berikutnya adalah mendeteksi kemunculan setiap fragmen tersebut pada
setiap citra dalam database. Setelah dilakukan

Gambar 8. Hasil pengukuran kemiripan citra untuk
kelas sepeda

YenizyxwvutsrqponmlkjihgfedcbaZYX
Herdiyeni dkk. I 53

Gambar 9. Hasil pengukuran kemiripan citra untuk

Gambar 11. Hasil pengukuran kemiripan citra untuk

kelas kuda
kelas mobilzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

-,
. !

f~~~ "·lr~Qo~.,
~

it

_

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
!
We~~~o_€l
1)1

·.:iili

;")C$

- -.~.---..--... - -._-.-

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
~l*",
zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA
'fIKfiJ
~
~
~®
~

'-~--'--"'