Pseudo-Relevance Feedback on Retrieval Using Document Segmentation.

ABSTRACT
ELENUR DWI ANBIANA. Pseudo-Relevance Feedback on
Segmentation. Supervised by JULIO ADISANTOSO.

Retrieval Using Document

Web is the largest information source in the world, but the storage and effective information
retrieval on the web is still a problem in this day. Pseudo-relevance feedback is automatically local
analysis technique (relevance feedback technique without explicit input user). This technique takes the
top n-ranked documents as the relevant documents and takes the top x-ranked terms from relevant
documents. Basically, a document consist of any topics, so in the research, relevant documents
substituted by a segment which represents a topic in the relevant document. The segment is taken by
XML document tag, are , and tag, since the text from those tags are
usually represent a document. The visual block extraction phase (first step in VIsion based Page
Segmentation algorithm), used in segmented the document, so the title of the research is PseudoRelevance Feedback on Retrieval Using Document Segmentation. This research done in six phases,
there are retrieval initialization, document segmentation, segments selection, terms selection, final
retrieval and retrieval output evaluation. The result of system performance is good, that is 0.5214. The
test results show that the performance of the PRF based segmentation of documents and without PRF
retrieval was not found significant differences. It is because of the taken documents and segments for
expansion terms selection are not relevant, expanded queries are not exact representing the segment,
the member of documents that are used in retrieval is relatively small, that are 1000 documents.

Keywords: pseudo-relevance feedback, relevance feedback, page segmentation, text processing.

PSEUDO-RELEVANCE FEEDBACK PADA TEMU-KEMBALI
MENGGUNAKAN SEGMENTASI DOKUMEN

ELENUR DWI ANBIANA

DEPARTEMEN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2009

PSEUDO-RELEVANCE FEEDBACK PADA TEMU-KEMBALI
MENGGUNAKAN SEGMENTASI DOKUMEN

ELENUR DWI ANBIANA

DEPARTEMEN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

INSTITUT PERTANIAN BOGOR
BOGOR
2009

PSEUDO-RELEVANCE FEEDBACK PADA TEMU-KEMBALI
MENGGUNAKAN SEGMENTASI DOKUMEN

ELENUR DWI ANBIANA

Skripsi
Sebagai salah satu syarat untuk memperoleh
gelar Sarjana Komputer pada
Departemen Ilmu Komputer

DEPARTEMEN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2009

ABSTRACT
ELENUR DWI ANBIANA. Pseudo-Relevance Feedback on
Segmentation. Supervised by JULIO ADISANTOSO.

Retrieval Using Document

Web is the largest information source in the world, but the storage and effective information
retrieval on the web is still a problem in this day. Pseudo-relevance feedback is automatically local
analysis technique (relevance feedback technique without explicit input user). This technique takes the
top n-ranked documents as the relevant documents and takes the top x-ranked terms from relevant
documents. Basically, a document consist of any topics, so in the research, relevant documents
substituted by a segment which represents a topic in the relevant document. The segment is taken by
XML document tag, are , and tag, since the text from those tags are
usually represent a document. The visual block extraction phase (first step in VIsion based Page
Segmentation algorithm), used in segmented the document, so the title of the research is PseudoRelevance Feedback on Retrieval Using Document Segmentation. This research done in six phases,
there are retrieval initialization, document segmentation, segments selection, terms selection, final
retrieval and retrieval output evaluation. The result of system performance is good, that is 0.5214. The
test results show that the performance of the PRF based segmentation of documents and without PRF
retrieval was not found significant differences. It is because of the taken documents and segments for
expansion terms selection are not relevant, expanded queries are not exact representing the segment,

the member of documents that are used in retrieval is relatively small, that are 1000 documents.
Keywords: pseudo-relevance feedback, relevance feedback, page segmentation, text processing.

Judul
Nama
NRP

: Pseudo-Relevance Feedback pada Temu-kembali menggunakan Segmentasi Dokumen
: Elenur Dwi Anbiana
: G64050873

Menyetujui:

Pembimbing

Ir. Julio Adisantoso, M.Kom
NIP 196207141986011002

Mengetahui:
Dekan Fakultas Matematika Dan Ilmu Pengetahuan Alam

Institut Pertanian Bogor

Dr. drh. Hasim, DEA
NIP 196103281986011002

Tanggal Lulus:

RIWAYAT HIDUP
Penulis dilahirkan di Jakarta pada tanggal 24 Pebruari 1988 dari ayah Bambang Subekti, S. Sos.
dan ibu Siti Rohaya. Penulis merupakan anak kedua dari tiga bersaudara.
Pada tahun 2005 penulis lulus dari SMAN 55 Jakarta dan di tahun yang sama lulus seleksi masuk
IPB melalui jalur Seleksi Penerimaan Mahasiswa Baru. Tahun 2006, penulis diterima di mayor Ilmu
Komputer, Fakultas Matematika dan Pengetahuan Alam.
Selama mengikuti perkuliahan, penulis menjadi asisten praktikum Algoritma dan Pemrograman
pada tahun ajaran 2008/2009, serta asisten praktikum Bahasa Pemrograman pada tahun 2009. Penulis
melakukan Praktik Kerja Lapangan di Pusat Pembiayaan dan Jaminan Kesehatan Departemen
Kesehatan RI.

PRAKATA
Alhamdulilahirobbil’alamin, segala puji syukur penulis panjatkan kehadirat Allah SWT atas segala

karunia-Nya sehingga tugas akhir ini berhasil diselesaikan. Topik tugas akhir yang dipilih dalam
penelitian dan dilaksanakan sejak bulan Pebruari 2009 adalah Pseudo-Relevance Feedback pada
Temu-kembali menggunakan segmentasi dokumen.
Terima kasih penulis ucapkan kepada Bapak Ir. Julio Adisantoso, M. Kom selaku dosen
pembimbing, ibu Yeni Herdiyeni S. Si, M. Kom dan Bapak Sony Hartono Wijaya, S. Kom, M.Kom
selaku dosen penguji, Dr. Sri Nurdiati, MSc selaku Kepala Departemen Ilmu Komputer serta staf
Departemen Ilmu Komputer FMIPA IPB. Disamping itu, terima kasih penulis ucapkan kepada
orangtua tercinta Bambang Subekti S.Sos dan Siti Rohaya, Agetya Wibriani S.Sos, Sri Nur Wulan
Sari, Syarif Ubaidillah, Christina Eka Wardhani S. Kom, Mega Wirna Yulianti S.Kom, Noviana
Pramitasari S. Kom, atas doa, perhatian dan dukungannya, Netty Laora Sitohang, Muthia Aziza, Dewa
Ayu Tenara K.C., Utis Sutisna, teman-teman Program Studi Ilmu Komputer angkatan 42, pengurus
Badan Eksekutif Mahasiswa FMIPA IPB, pengurus KAMMI Komisariat IPB dan seluruh pihak yang
turut membantu baik secara langsung maupun tidak langsung dalam pelaksanaan tugas akhir.
Penulis menyadari bahwa dalam penulisan tugas akhir ini masih terdapat banyak kekurangan dan
kelemahan dalam berbagai hal karena keterbatasan kemampuan penulis. Penulis berharap adanya
masukan berupa saran atau kritik yang bersifat membangun dari pembaca demi kesempurnaan tugas
akhir ini. Semoga tugas akhir ini bermanfaat.

Bogor, Agustus 2009

Elenur Dwi Anbiana

DAFTAR ISI

Halaman
DAFTAR GAMBAR ........................................................................................................................ v
DAFTAR LAMPIRAN ..................................................................................................................... v
PENDAHULUAN ............................................................................................................................ 1
Latar Belakang ............................................................................................................................. 1
Tujuan .......................................................................................................................................... 1
Ruang Lingkup ............................................................................................................................. 1
TINJAUAN PUSTAKA .................................................................................................................... 1
Relevance Feedback...................................................................................................................... 1
Pseudo – Relevance Feedback....................................................................................................... 1
Vector Space Model ...................................................................................................................... 2
Algoritme VIPS ............................................................................................................................ 3
METODOLOGI PENELITIAN......................................................................................................... 3
Inisialisasi Temu-kembali ............................................................................................................. 3
Segmentasi Dokumen ................................................................................................................... 3
Penyeleksian Segmen.................................................................................................................... 3

Penyeleksian Expansion Terms ..................................................................................................... 4
Temu-kembali Final ...................................................................................................................... 4
Evaluasi Hasil Temu-kembali........................................................................................................ 4
HASIL DAN PEMBAHASAN.......................................................................................................... 4
Temu-kembali Informasi Klasik .................................................................................................... 4
Evaluasi Pseudo-Relevance Feedback Berdasarkan segmentasi Dokumen...................................... 5
KESIMPULAN DAN SARAN.......................................................................................................... 7
Kesimpulan .................................................................................................................................. 7
Saran ............................................................................................................................................ 7
DAFTAR PUSTAKA ....................................................................................................................... 7
LAMPIRAN ..................................................................................................................................... 8

iv

DAFTAR GAMBAR

Halaman
1 Ukuran kemiripan sebagai nilai kosinus dari sudut θ. ...................................................................... 2
2 Algoritme ekstraksi blok visual. ..................................................................................................... 3
3 Metodologi Penelitian. ................................................................................................................... 3

4 Tahapan dalam praproses dokumen. ............................................................................................... 4
5 Perbandingan kinerja kueri perluasan dalam pengambilan dokumen peringkat n teratas. .................. 5
6 Perbandingan kinerja kueri perluasan dalam pengambilan segmen peringkat y teratas. ..................... 6
7 Perbandingan kinerja sistem tanpa PRF, PRF dan PRF berdasarkan segmentasi dokumen................ 6

DAFTAR LAMPIRAN
Halaman
1 Antarmuka implementasi. ............................................................................................................... 9
2 Contoh dokumen XML dalam koleksi pengujian. .......................................................................... 10
3 Gugus Kueri dan Jawaban. ........................................................................................................... 11
4 Tabel hasil analisis kinerja sistem tanpa PRF. ............................................................................... 17
5 Tabel hasil analisis kinerja sistem PRF. ........................................................................................ 18
6 Tabel hasil analisis kinerja sistem PRF berdasarkan segmentasi dokumen. .................................... 21

v

PENDAHULUAN

Latar Belakang
Web merupakan sumber informasi terbesar

di dunia, namun penyimpanan dan temukembali informasi yang efektif di dalam web
masih menjadi permasalahan pada saat ini.
Sejumlah besar informasi akurat dan dapat
diakses secara cepat dan tepat belum dapat
terwujud.
Bentuk sederhana dari penemuan dokumen
adalah komputer melakukan pengurutan
dokumen yang ada. Proses pengurutan dokumen
berarti memproses koleksi besar dokumen
digital (korpus) dengan memberikan nilai bobot
ke dalam tiap-tiap dokumen berdasarkan kueri
pengguna. Namun, dokumen digital yang
diproses ini selalu bertambah dan korpus
tersebut dapat memiliki milyaran, bahkan
trilyunan istilah. Dengan demikian, diperlukan
operasi pencocokan yang fleksibel untuk kueri
pengguna dengan semua istilah di korpus.
Pseudo-relevance feedback merupakan
teknik analisis lokal secara otomatis (teknik
relevance-feedback tanpa input eksplisit

pengguna). Teknik ini mengekstrak terms dari
dokumen peringkat teratas (dalam pseudorelevance feedback, dokumen peringkat teratas
dianggap relevan) untuk memformulasikan
sebuah kueri baru pada temu-kembali
selanjutnya. Pada dasarnya, sebuah dokumen
terdiri atas berbagai topik, sehingga dokumen
dapat digantikan oleh segmen yang mewakili
sebuah topik dalam dokumen peringkat teratas.
Pada penelitian, digunakan tahap ekstraksi blok
visual (tahap pertama VIsion based Page
Segmentation algorithm) untuk mensegmentasi
dokumen peringkat teratas.
Menurut Yu, Cai, Wen dan Ma (2003),
teknik pseudo-relevance feedback berdasarkan
segmentasi dokumen cukup baik diterapkan
dalam pengambilan kueri perluasan baru. Kueri
perluasan baru ini diambil dari segmen yang
terkait dengan dokumen peringkat teratas.
Dengan demikian, teknik pseudo-relevance
feedback berdasarkan segmentasi dokumen
dapat digunakan dalam meningkatkan kinerja
temu-kembali informasi.
Tujuan
Penelitian ini bertujuan mengimplementasi
dan menganalisis kinerja kueri perluasan dengan
teknik pseudo-relevance feedback berdasarkan
segmentasi dokumen.

Ruang Lingkup
Dokumen yang digunakan dalam penelitian
adalah dokumen XML berbahasa Indonesia.
Dokumen ini merupakan berita-berita dari surat
kabar online yang tersedia di Laboratorium
Temu-kembali Informasi dan berjumlah 1000
dokumen.

TINJAUAN PUSTAKA

Relevance Feedback
Menurut Baeza-Yates dan Ribeiro-Neto
(1999), relevance feedback (RF) adalah teknik
yang terkenal dalam merekonstruksi kueri. Pada
siklus RF, pengguna diminta memberi tanda
pada dokumen hasil temu-kembali yang
dianggap relevan. Ide dasarnya, penyeleksian
expansion terms diambil dari dokumen yang
diidentifikasi relavan oleh pengguna, expansion
terms peringkat x teratas ditambah kueri
pengguna digunakan sebagai formulasi kueri
baru. Formulasi kueri baru ini diharapkan
menggeser dokumen relevan ke atas dan
dokumen tidak relevan ke bawah.
RF memiliki kelebihan dari teknik
rekonstruksi kueri lain, yaitu:
1. Membantu pengguna untuk menghindari
proses detil reformulasi kueri, karena
pengguna telah memberikan keputusan
untuk dokumen yang dianggap relevan.
2. Meringkas tahap pencarian yang
dilakukan.
3. Menyediakan proses yang kontrol yang
dibuat untuk mengambil expansion terms
relevan
(penciri
dokumen)
dan
membuang selainnya.
Berdasarkan buku Risjbergen (1979),
permasalahan teknik relevance feedback adalah
cara pengguna dalam menentukan dokumen
yang relevan dan tidak relevan dalam hasil
temu-kembali. Secara operasional, pengguna
perlu menelusuri lebih lanjut isi dokumen hasil
temu-kembali, agar diketahui kerelevanan
sebuah dokumen, kemudian dirumuskan ulang
kueri baru untuk temu-kembali selanjutnya.
Pseudo – Relevance Feedback
Menurut Yu, Cai, Wen dan Ma (2003),
pseudo – relevance feedback (PRF), dikenal
juga sebagai local feedback atau blind feedback,
merupakan sebuah teknik yang biasanya
digunakan untuk memperbaiki hasil temukembali. Ide dasar dari teknik ini, yaitu
mengekstrak expansion terms dari top-n

documents (dianggap sebagai dokumen relevan)
untuk merumuskan sebuah kueri baru yang akan
digunakan
dalam
proses
temu-kembali
selanjutnya. Melalui ekspansi kueri, beberapa
dokumen relevan yang hilang pada proses
inisialisasi temu-kembali ditemukembalikan
dalam proses selanjutnya, sehingga kinerja
temu-kembali dapat ditingkatkan secara
menyeluruh. Intinya, teknik ini sangat
bergantung pada kualitas expansion terms yang
dipilih. Pada pseudo-relevance feedback,
kualitas expansion terms sangat dipengaruhi
oleh dokumen-dokumen peringkat teratas.
Berdasarkan buku Baeza-Yates dan RibeiroNeto (1999), teknik ini menganggap sistem
yang mengambil top-n documents sebagai
dokumen relevan lebih baik daripada pengguna
memilih top-k relevant documents. Artinya,
pengguna dapat memperbaiki hasil temukembali tanpa harus memperluas interaksi.
Teknik ini akan efektif dalam beberapa
pengaturan, kemungkinan besar saat kueri asli
bersifat panjang dan tepat. Perluasan yang
menarik untuk teknik ini ialah menggunakan
output dari hasil temu-kembali clustering
sebagai input mekanisme relevance feedback,
melalui pengguna atau sistem yang memilih
kluster yang digunakan, akan tetapi ide ini
belum dievaluasi.

bobot indeks istilah tf.idf dengan pendekatan
diformulasikan sebagai berikut:
Wt,d = tft,d . idft →
Wt,d = tft . log(N/dft)
Diasumsikan, Wt,d adalah bobot istilah t dalam
dokumen d, tft,d adalah frekuensi istilah t dalam
dokumen d, idft adalah frekuensi dokumen
inverse istilah t (idft = log(N/dft)), N adalah
jumlah dokumen di dalam korpus dan dft adalah
jumlah dokumen yang mengandung istilah t.

Gambar 1 Ukuran kemiripan sebagai nilai
kosinus dari sudut θ.
Manning (2008) menyatakan penilaian
kinerja
metode
vector
space
model,
menggunakan pengukuran recall-precision (RP). Perhitungan recall-precision diformulasikan
sebagai berikut:

Vector Space Model
Vector space model dalam buku BaezaYates dan Ribeiro-Neto (1999) menyatakan
kegunaan pembobotan dalam bilangan biner
sangat membatasi, sehingga digunakan bobot
tak biner untuk pembobotan indeks istilah
didalam kueri dan dokumen. Bobot istilah ini
digunakan untuk mengkomputasi kemiripan
kosinus di antara setiap dokumen yang
digunakan oleh sistem dan kueri dari pengguna.
Jarak di antara tiap vektor dokumen diambil
berdasarkan nilai kosinus dari sudut θ yang
terdefinisi di antara dua buah vektor dokumen,
diilustrasikan pada Gambar 1.
Menurut Manning (2008), perhitungan
kemiripan nilai kosinus diformulasikan sebagai
berikut:
, dengan
Diasumsikan, sim(dj,dk) adalah kemiripan nilai
kosinus antara vektor dokumen j dengan k,
adalah panjang vektor dokumen dan adalah
vektor dokumen. Nilai vektor dari setiap
dokumen merupakan pembobotan indeks istilah
menggunakan pendekatan tf.idf. Perhitungan

Menurut Baeza-Yates dan Ribeiro-Neto
(1999), algoritme temu-kembali dievaluasi
dengan menggunakan beberapa kueri berbeda,
pastinya nilai R-P masing-masing kueri akan
berbeda pula. Average precision (AVP)
diperlukan untuk menghitung rata-rata tingkat
precision pada berbagai tingkat recall.
Umumnya digunakan sebelas tingkat recall,
yaitu 0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9
dan 1.0. Perhitungan AVP diformulasikan
sebagai berikut:

Asumsi,

adalah AVP pada level recall r,

Nq adalah jumlah kueri yang digunakan, dan
Pi(r) adalah precision pada level recall r untuk
kueri ke-i.

2

Algoritme VIPS
Dalam penelitian Yu, Cai Wen dan Ma
(2003), algoritme VIPS – VIsion based Page
Segmentation mensegmentasi dokumen (web)
dalam tiga tahapan, yaitu: ekstraksi blok visual,
pendeteksian pemisah visual dan konstruksi
struktur
isi.
Pertama-tama,
dokumen
disegmentasi ke dalam beberapa blok besar.
Untuk setiap blok besar, proses segmentasi yang
sama dilakukan berulang-ulang sampai cukup
mendapatkan blok kecil yang dapat mewakili
sebuah topik dalam sebuah dokumen.
Ekstraksi blok visual bertujuan untuk
menemukan semua blok visual yang terdapat
dalam dokumen. Algoritme ekstraksi blok
visual direpresentasikan pada Gambar 2.
Algoritme DivideDomtree(pNode, nLevel)
{
IF (Divideable(pNode, nLevel) ==
TRUE)
FOR EACH child OF pNode
DivideDomtree(child,
nLevel);
ELSE
Put the sub-tree (pNode) into the
pool as a block;
}
Gambar 2 Algoritme ekstraksi blok visual.

METODOLOGI PENELITIAN

Penelitian ini dilaksanakan dalam enam
tahap, yaitu: (1) temu-kembali awal, (2)
segmentasi dokumen, (3) penyeleksian segmen,
(4) peyeleksian expansion terms, (5) temukembali akhir dan (6) evaluasi hasil temukembali. Tahap-tahap di atas diilustrasikan pada
Gambar 3.
Temu-kembali Awal
Pada tahap ini diterapkan proses temukembali
informasi
klasik
yang
diimplementasikan teknik vector space model
(VSM). Menurut Baeza-Yates dan Ribeiro-Neto
(1999), tidak semua kata dapat digunakan untuk
merepresentasikan sebuah dokumen secara
signifikan.
Dengan
demikian,
sebelum
mengimplementasikan proses temu-kembali
informasi klasik, harus dilakukan pemrosesan
teks atau yang biasa disebut praproses dokumen.
Praproses dokumen diilustrasikan pada Gambar
4. Praproses yang dilakukan dalam penelitian
dapat dibagi ke dalam tiga tahap pengoperasian
teks:

Lexical analysis of the text atau
tokenisasi, bertujuan identifikasi kata di
dalam teks. Tokenisasi adalah proses
yang mengubah sekumpulan karakter
(teks dari dokumen) ke dalam
sekumpulan kata (kandidat kata yang
digunakan sebagai indeks istilah).
Eliminasi kata buangan, bertujuan
meminimumkan kata yang digunakan
sebagai istilah yang diindeks dalam
proses temu-kembali.
Koleksi
Dokumen XML

(6) Evaluasi
Temu
Kembali

(1) Temu
Kembali Awal

Hasil Temu
Kembali

Dokumen
peringkat
n teratas

(5) Temu
Kembali Akhir

(2) Segmentasi
Dokumen

Expansion Terms
peringkat x
teratas

(3) Penyeleksian
Segmen

(4) Penyeleksian
Expansion Terms

idf
Segmen
peringkat y
teratas

Gambar 3 Metodologi Penelitian.
Pengindeksan teks dalam dokumen,
bertujuan mengomputasi frekuensi kata
yang berada dalam sebuah dokumen,
yang akan digunakan dalam pembobotan
kata dalam dokumen.
Segmentasi Dokumen
Dalam proses segmentasi, tahap ekstraksi
blok visual (tahap pertama algoritme VIPS)
diimplementasikan ke dalam setiap dokumen
peringkat k teratas. Dokumen XML yang
digunakan memiliki tag , ,
, , ,
dan . Contoh dokumen XML yang
digunakan digambarkan pada Lampiran 2.
Dalam penelitian ini, teks dalam tag ,
dan akan merepresentasikan
potongan-potongan segmen dari setiap dokumen
peringkat k teratas.
Penyeleksian Segmen
Proses ini bertujuan menyeleksi segmen
paling relevan dari sekumpulan segmen yang
didapat dari proses segmentasi dokumen. Dalam
penelitian ini diterapkan metode seperti vector

3

space model untuk mengurutkan segmensegmen
tersebut.
Dengan
demikian,
didapatkanlah segmen peringkat x teratas yang
digunakan untuk proses penyeleksian expansion
terms.
Penyeleksian Expansion Terms
Dalam penelitian, teknik yang mirip pseudorelevance feedback diimplementasikan untuk
menyeleksi expansion terms. Perbedaannya
adalah expansion terms terseleksi dari segmen
peringkat x teratas bukan dokumen peringkat k
teratas. Semua expansion terms kecuali yang
sama dengan kueri asli pada segmen peringkat x
teratas diberikan bobot berdasarkan nilai TSVterm selection value (Yu, Cai, Wen & Ma
2003), dengan formula sebagai berikut:
TSV = w(1 )* r/R.
Asumsi, w(1 ) adalah idf (inverse document
frequency) yang dihasilkan dari proses temukembali awal, R adalah jumlah segmen
terseleksi dan r adalah jumlah segmen terseleksi
dan mengandung expansion terms t. Dengan
demikian, didapatkan expansion terms peringkat
y teratas.
teks +
struktur

dokumen

pengenalan
struktur
spasi, tanda
baca dan
lain-lain

struktur

teks

teks
kata
buangan

Bobot baru kueri asli adalah (tf*2) * idf,
tf adalah frekuensi istilah pada kueri.
Bobot baru kueri perluasan adalah 1-(r1)/n* idf. Asumsi, jika kueri perluasan
berada di peringkat ke-r dari n expansion
terms yang terseleksi.
Kueri yang diperluas digunakan untuk
memproses korpus dokumen XML dengan
proses yang sama dengan temu-kembali awal.
Hasil dari proses ini akan menjadi hasil akhir
proses temu-kembali informasi.
Evaluasi Hasil Temu-kembali
Pada proses evaluasi hasil temu-kembali
dilakukan penilaian kinerja sistem dengan
melakukan pengukuran recall-precision untuk
menentukan tingkat keefektifan proses temukembali. Recall adalah rasio dokumen relevan
yang ditemukembalikan. Precision adalah
dokumen yang ditemukembalikan, dokumen
tersebut relevan. Average precision (AVP)
dilakukan karena digunakan beberapa kueri
pada tahap evaluasi ini. AVP dihitung
berdasarkan 11 standard recall levels, yaitu 0%,
10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%,
90%, 100%. Pada saat level recall 0%,
precision diperoleh dengan cara interpolasi
(Baeza-Yates & Ribeiro-Neto 1999).
Pengaruh pengunaan PRF berdasarkan
segmentasi dokumen diukur dengan cara
membandingkan kinerja temu-kembali tanpa
PRF, PRF dan PRF berdasarkan segmentasi
dokumen. Pengujian kinerja dilakukan menurut
gugus kueri dan jawaban (lihat Lampiran 3).
HASIL DAN PEMBAHASAN

Gambar 4 Tahapan dalam praproses dokumen.

Penelitian dilakukan dengan menggunakan
koleksi pengujian yang tersedia di Laboratorium
Temu-kembali Informasi sejak bulan Pebruari
2009 dan dijalankan menggunakan bahasa
pemrograman PHP. Dalam sistem temu-kembali
informasi, penentuan koleksi pengujian sangat
penting dilakukan, karena dengan adanya
perbedaan dari koleksi pengujian maka hasil
akhir temu-kembali akan berbeda juga. Koleksi
pengujian ini terdiri atas koleksi dokumen,
daftar karakter dan kata buangan yang telah
dimodifikasi, gugus kueri dan jawaban.

Temu-kembali Final

Temu-kembali Informasi Klasik

Menurut Yu, Wen & Ma. (2003), bobot
istilah untuk kueri yang diperluas akan diatur
menurut aturan sebagai berikut:

Sebelum
menerapkan
teknik
VSM,
dilakukan praproses dokumen pada koleksi
dokumen untuk mendapatkan indeks istilah.
Praproses dokumen dibagi ke dalam tiga tahap

kata benda

Pengindeksan
teks
Istilah
indeks

4

pengoperasian teks, yaitu: tokenisasi, eliminasi
kata buangan dan pengindeksan teks dalam
dokumen.
Sebelum melakukan tokenisasi, dilakukan
proses pembentukan id dan isi dokumen. Semua
huruf pada koleksi dokumen diubah menjadi
huruf kecil dengan menggunakan fungsi
strtolower, kemudian tag XML dieliminasi dan
dibentuk segmen berdasarkan tag ,
dan . Potongan-potongan
segmen yang didapat berikut asal dokumen
dikumpulkan
ke
dalam
file
“SegmentCollection.txt”.
Setiap
segmen
didalam
file
“SegmentCollection.txt”
digabungkan menurut asal dokumennya.
Gambar 5 menjelaskan pembentukan id dan isi
dokumen dari koleksi dokumen.
Isi dokumen diproses secara sekuensial per
karakter dan menghasilkan indeks istilah beserta
posisinya
dalam
dokumen.
Tokenisasi
diterapkan sebagai berikut:
1. Isi dokumen dibedakan menurut jenis
karakter, yaitu:
a. whitespace, yaitu karakter pemisah
indeks istilah
b. alpha, yaitu karakter huruf
c. numeric, yaitu karakter angka
d.other, yaitu karakter yang tidak
termasuk tiga jenis karakter di atas.
2. Jika karakter yang ditemukan merupakan
karakter alpha, maka karakter tersebut
menjadi indeks istilah, selainnya
dibuang. Proses pembuangan karakter
yang tidak diperlukan dibantu oleh
fungsi preg_split. Hasil dari fungsi
preg_split ini juga menerapkan tahap
pengindeksan teks dalam dokumen.
3. Hitung panjang dari hasil indeks istilah
yang didapat. Jika panjang indeks istilah

lebih besar sama dengan tiga, maka
indeks istilah tersebut menjadi input
untuk tahap eliminasi kata buangan.
4. Hasil dari proses tokenisasi berupa id
dokumen berikut hasil indeks istilah
yang didapat.
Output dari tokenisasi dijadikan input pada
tahap eliminasi kata buangan. Pada tahap ini,
hasil indeks istilah dibandingkan dengan katakata buangan (biasanya kata hubung). Jika
indeks istilah yang didapat tidak termasuk
dalam kata buangan, maka indeks istilah
tersebut dijadikan input untuk metode vector
space model,selainnya dibuang.
Indeks
istilah
tersebut
diproses
menggunakan metode vector space model,
metode ini dapat diuraikan sebagai berikut:
Menghitung bobot untuk setiap indeks
istilah menggunakan pendekatan tf.idf.
Menghitung kemiripan nilai kosinus.
Dokumen akan diurutkan berdasarkan
nilai kemiripan kosinus, pengurutan
dilakukan dari nilai kemiripan kosinus
terbesar sampai dengan terkecil. Dengan
demikian,
didapatkanlah
dokumen
peringkat k teratas.
Implementasi antarmuka sistem digambarkan
pada Lampiran 1.
Evaluasi
Pseudo-Relevance
Feedback
Berdasarkan segmentasi Dokumen
Untuk mengetahui pengaruh pengambilan
dokumen peringkat n teratas, dilakukan evaluasi
PRF dengan mengambil dokumen peringkat 5,
10 dan 20 teratas. Gambar 5 mengilustrasikan
perbandingan kinerja kueri perluasan dalam
pengambilan dokumen peringkat n teratas (lihat
Lampiran 5).

Gambar 5 Perbandingan kinerja kueri perluasan dalam pengambilan dokumen peringkat n teratas.

5

Pada Gambar 5 terlihat bahwa kinerja kueri
perluasan optimal saat pengambilan dokumen
peringkat 5 teratas. Pengambilan dokumen
peringkat 20 teratas memiliki kinerja kueri
paling kecil. Hal ini disebabkan banyaknya
dokumen tidak relevan dalam dokumen
peringkat 20 teratas, sehingga kueri perluasan
yang diambil juga kebanyakan dari topik yang
tidak relevan.
Untuk mengetahui pengaruh pengambilan
segmen peringkat y teratas, dilakukan evaluasi
PRF berdasarkan segmentasi dokumen dengan
mengambil segmen peringkat 5, 10 dan 20
teratas.
Gambar
6
mengilustrasikan
perbandingan kinerja kueri perluasan dalam
pengambilan segmen peringkat y teratas (lihat
Lampiran 6).

Pada Gambar 6 terlihat bahwa kinerja kueri
perluasan optimal saat pengambilan segmen
peringkat 5 teratas. Pengambilan segmen
peringkat 20 teratas memiliki kinerja kueri
paling kecil. Hal ini disebabkan banyaknya
segmen tidak relevan dalam segmen peringkat
20 teratas, sehingga kueri perluasan yang
diambil kebanyakan dari topik tidak relevan.
Perbandingan kinerja sistem dilakukan
dengan membandingkan sistem tanpa PRF, PRF
dan PRF berdasarkan segmentasi dokumen.
Gambar 7 mengilustrasikan perbandingan
kinerja sistem tanpa PRF, PRF dan PRF
berdasarkan
segmentasi
dokumen.
Perbandingan nilai average precision yang
didapat untuk ketiga perlakuan sistem tersebut
ditunjukkan pada Tabel 2(lihat Lampiran 4, 5
dan 6).

Gambar 7 Perbandingan kinerja kueri perluasan dalam pengambilan segmen peringkat y teratas.

Gambar 7 Perbandingan kinerja sistem tanpa PRF, PRF dan PRF berdasarkan segmentasi dokumen.

6

Tabel 2 Perbandingan nilai average precision
Perlakuan Sistem
AVP
Tanpa PRF
0.5216
PRF
0.4887
PRF
berdasarkan
0.5214
segmentasi dokumen
Hasil uji menunjukkan bahwa kinerja sistem
yang didapat cukup baik, yaitu senilai 0.5214.
Kinerja hasil temu-kembali PRF berdasarkan
segmentasi dokumen dan tanpa PRF tidak
ditemukan perbedaan yang signifikan, meskipun
hasil tanpa PRF menghasilkan kinerja sistem
paling baik. Hal ini dikarenakan terambilnya
dokumen, segmen tidak relevan, kueri perluasan
bukan merupakan kata penciri segmen,
dokumen yang digunakan relatif sedikit, yaitu
1000 dokumen.

KESIMPULAN DAN SARAN
Kesimpulan
Hasil penelitian menunjukkan bahwa:
1. Kinerja sistem yang didapat cukup baik,
yaitu lebih dari 50 %.
2. Kinerja hasil temu-kembali PRF
berdasarkan segmentasi dokumen dan
tanpa PRF tidak ditemukan perbedaan
yang signifikan. Hal ini dikarenakan
terambilnya dokumen dan segmen yang
tidak relevan, kueri perluasan yang
terambil bukan merupakan kata penciri
segmen,
jumlah
dokumen
yang

digunakan relatif sedikit yaitu 1000
dokumen.
Saran
Hasil temu-kembali awal diperbaiki terlebih
dahulu dengan cara menghilangkan kesalahan
penulisan pada koleksi dokumen, daftar kata
buangan yang belum tereliminasi perlu
dihilangkan dan menambah tahap stemming
pada praproses dokumen. Teknik RF dapat
dilakukan untuk penelitian selanjutnya sehingga
dokumen yang digunakan dalam perluasan kueri
merupakan dokumen relevan.

DAFTAR PUSTAKA
Baeza-Yates R, Ribeiro-Neto B. 1999. Modern
Information Retrieval. England: Addison
Wesley.
Rijsbergen C J V, 1979. Information Retrieval.
Butterworths: University of Glasgow.
Manning C D, Raghavan P, Schütze H. 2008.
Introduction to Information Retrieval.
Cambridge: Cambridge University Press.
Yu S, Cai D, Wen J-R, Ma W-Y. 2003.
Improving Pseudo-Relevance Feedback in
Web Information Retrieval Using Web Page
Segmentation. In The Fifth Asia Pacific Web
Conference.
Yu S, Cai D, Wen J-R, Ma W-Y. 2003. VIPS: a
Vision-base Page Segmentation Algorithm.
In The Fifth Asia Pacific Web Conference.

7

LAMPIRAN

Lampiran 1 Antarmuka implementasi

9

Lampiran 2 Contoh dokumen XML dalam koleksi pengujian

gatra180702
Kiemas dan Lima Menteri akan Bahas Agenda Pembangunan Pro Petani
Tma dan Ant
18 Juli 2002


Suami Presiden Megawati Soekarnoputri, Taufik Kiemas disertai lima menteri kabinet
gotong royong, Kamis, dijadwalkan datang ke Bogor untuk membahas agenda
pembangunan yang pro-petani. Para menteri yang menyertai Taufik Kiemas itu adalah
Mensritek Hatta Radjasa, Menperindag Rini Suwandi, Menhut Prakosa, Menteri Kelautan
dan Perikanan Rokhmin Dahuri serta Menteri Pertanian Bungaran Saragih.


Menurut informasi dari berbagai pihak di Bogor, agenda yang akan dibahas dalam
kunjungan ke Kota Hujan itu terkait dengan soal-soal pembangunan yang pro-petani. Hal
ini karena di kota Bogor terdapat sejumlah perguruan tinggi baik negeri maupun swasta
punya fakultas, jurusan maupun program studi pada ilmu-ilmu pertanian. Di Bogor juga
terdapat Institut Pertanian Bogor (IPB) yang disebut sebagai institusi pendidikan tinggi
terbesar kedua di Asia untuk pertanian tropika.




10

Lampiran 3 Gugus Kueri dan Jawaban
Kueri

Gugus Jawaban

Bencana
kekeringan

Dukungan
pemerintah
pertanian

gatra070203, gatra161002, gatra210704, gatra301002, indosiar010903,
indosiar170603,
indosiar220503,
indosiar260803-003,
indosiar310504,
kompas210504,
kompas250803,
mediaindonesia050604-001,
mediaindonesia110703,
mediaindonesia160603,
mediaindonesia240503,
mediaindonesia260803,
mediaindonesia270803,
mediaindonesia310503,
pikiranrakyat020704,
republika030903-001,
republika030903-002,
republika070604-001,
republika090804-01,
republika120804-01,
republika120804-04, republika130804-02, republika200603, republika210704004,
republika250604,
republika270503,
republika270704-002,
situshijau181103-001,
suarakarya000000-002-01,
suarakarya000000-021,
suaramerdeka130602,
suaramerdeka190903,
suarapembaruan150903,
suarapembaruan180303, suarapembaruan260703-002.
pada

Flu burung

Gabah
giling

kering

Gagal panen/puso

indosiar070504,
jurnal000000-026,
kompas030401,
kompas050303,
kompas060503, kompas071100, kompas150201, kompas200802, kompas300402,
mediaindonesia130204,
mediaindonesia220303,
pembaruan110903,
poskota040804,
republika100903,
republika180303,
republika210902,
republika230903, republika251102-001, republika251102-002, republika300604001, situshijau150504-002, situshijau190303-002, situshijau200103-002,
situshijau201003-001,
situshijau281003-002,
suarakarya000000-028,
suaramerdeka130902, wartapenelitian000000-002, wartapenelitian000000-007.
gatra220604, gatra270104-001, gatra270104-002, gatra300104, indosiar020304,
indosiar240204,
mediaindonesia090204,
mediaindonesia140704,
mediaindonesia200204,
republika090604,
republika120704-005,
republika190504-001,
republika190604-005,
republika210504-001,
republika290704-002,
situshijau280404-004,
suarakarya000000-001,
suarakarya000000-008,
suarakarya000000-014,
suaramerdeka160204,
suaramerdeka200104.
indosiar180603,
indosiar240703,
indosiar300304,
kompas
170402,
kompas030502-001, kompas160704, kompas170903, mediaindonesia250304,
pikiranrakyat300604, republika040303, republika060804-003, republika100704003,
republika100804,
republika120804-01,
republika180504-002,
republika210704-001,
republika230704-001,
republika231202-001,
republika231202-002,
republika290604-003,
republika290604-007,
situshijau281003-004, suarakarya000000-007, suaramerdeka090104.
gatra070203, gatra190802, gatra190902-02, gatra301002, indosiar010504,
indosiar031203,
indosiar040903,
indosiar050704-002,
indosiar070504,
indosiar130504,
indosiar140204,
indosiar160304,
indosiar170603,
indosiar180304, indosiar240703, indosiar260803-001, indosiar260803-003,
kompas030704, kompas031003, kompas170504, mediaindonesia030603,
mediaindonesia050604-001, mediaindonesia110703, mediaindonesia140203,
mediaindonesia160603,
mediaindonesia240503,
mediaindonesia310503,
republika030903-002, republika060804-001, republika080703, republika09080401,
republika120804-04,
republika130704-001,
republika130804-02,
republika200603, republika230704-005, republika260604-003, situshijau091203002, situshijau100603-003, situshijau110303-002, situshijau280404-002,
suarakarya000000-002-02,
suarakarya000000-011,
suaramerdeka120104,
suaramerdeka130602, suarapembaruan120104, suarapembaruan260703-001,
suarapembaruan260703-002.

11

Lanjutan
Kueri

Gugus Jawaban

Impor
indonesia

beras gatra180103, gatra220802, indosiar180603, indosiar180703, indosiar200304,
indosiar300703-002, kompas 170402, kompas 170402, kompas050602,
kompas101002, kompas101004, kompas160704, kompas180504, kompas270401,
kompas270502-002,
kompas310702,
mediaindonesia050104,
mediaindonesia060803,
mediaindonesia100203,
mediaindonesia131003,
mediaindonesia160603,
mediaindonesia250304,
republika020604-001,
republika060804-001, republika090902, republika100703, republika100704-003,
republika180504-002,
republika210704-001,
republika230704-001,
republika231202-001,
republika231202-002,
republika240604-001,
republika300704-002,
situshijau281003-004,
suarakarya000000-007,
suarakarya000000-023,
suaramerdeka120104,
suaramerdeka130104,
suaramerdeka170602-001,
suaramerdeka270601,
suarapembaruan100903,
suarapembaruan110903
Industri gula
gatra200103, kompas031003, kompas250901, mediaindonesia120604-002,
pikiranrakyat300704-002,
republika010704-003,
republika020804,
republika090902, republika100902, republika220604-002, republika280704-002,
republika301002,
situshijau210103-001,
suarakarya000000-001-01,
suarakarya000000-007,
suarakarya000000-028,
suaramerdeka130902,
suarapembaruan100903, suarapembaruan220403
Institut pertanian
bogor

gatra020804, gatra180304, gatra180702, gatra220704, gatra290903, gatra300404,
kompas100399,
kompas111099,
kompas121099,
kompas150304-001,
kompas200704, kompas200799, kompas230704, mediaindonesia080704,
mediaindonesia090704, mediaindonesia101003, mediaindonesia290903-002,
republika010704-001, republika061003, republika070604-002, republika100604002, republika100704-002, republika110604-002, republika140704-002,
republika160604-002, republika170604-001, republika180303, republika180604,
republika190604-001, republika190604-002, republika211002, republika220604001,
republika230704-08,
situshijau070503,
situshijau101103-004,
situshijau281003-003,
suarakarya000000-005,
suarakarya000000-010,
suarapembaruan150903, suarapembaruan260703-001

Kelangkaan
pupuk

indosiar010704,
indosiar060204,
indosiar190504-001,
indosiar200104,
indosiar260504,
indosiar290604,
kompas210504,
kompas300502-001,
pikiranrakyat010504-003,
republika050604,
republika160604-001,
suarakarya000000-001-02,
suarakarya000000-002,
suarakarya000000-006,
suarakarya000000-026,
suarakarya000000-029,
suarakarya000000-030,
suarakarya000000-032, suarakarya000000-038, suaramerdeka161101

Kelompok
masyarakat
tani/kelompok
tani

bitraindonesia000000-001,
indosiar021203-002,
jurnal000000-017,
kompas180502, kompas211103, kompas250901, kompas260304, kompas260902,
kompas270203-002, kompas270502-002, kompas300502-001, replubika110804,
republika030304, republika110604-004, republika131203-001, republika140703,
republika151202, republika180303, republika270704-001, republika280703,
republika300704-001, situshijau070503, situshijau120303-003, situshijau130303001, situshijau190303-002, situshijau200103-002, situshijau281003-004,
suarakarya000000-001-02,
suarakarya000000-037,
suaramerdeka260902,
suarapembaruan090202, suarapembaruan130103
balaipenelitian000000-010, gatra100203, indobic130504-002, indosiar010704,
jurnal000000-027, kompas220801, kompas241203, kompas300502-002,
mediaindonesia290903-002,
republika050804-007,
republika120704-005,
republika230704-004, republika300604-002, situshijau040603, situshijau05110302, situshijau100603-001, situshijau140503-001-01, situshijau150403-002,
situshijau180603-003, suarakarya000000-003, suaramerdeka031101

Laboratorium
pertanian

12

Lanjutan
Kueri
Musim panen

Pembangunan untuk
sektor pertanian

Penerapan bioteknologi
di indonesia/penerapan
bioteknologi/bioteknologi
di indonesia

Gugus Jawaban
gatra190902-02, gatra230103-001, gatra240203, indosiar010504,
indosiar021203-002, indosiar060204, indosiar071103, indosiar110304,
indosiar240604, indosiar300304, kompas030502-001, kompas041103,
kompas220901-001,
kompas240103,
kompas300502-001,
mediaindonesia131203-001,
mediaindonesia230604,
pikiranrakyat240404,
pikiranrakyat300604,
poskota261202,
republika060804-001,
republika060804-003,
republika100704-003,
republika151202,
republika171102,
republika240604-005,
republika290604-007,
republika300704-002,
situshijau000000-001,
situshijau040603,
situshijau080503-004,
situshijau250403-004,
situshijau270503-002, situshijau280404-002, suarakarya000000-007,
suarakarya000000-023, suarakarya000000-028, suaramerdeka120104,
suaramerdeka290901, suarapembaruan031002
gatra180304, jurnal000000-002, kompas020803, kompas031003,
kompas060203, kompas060503, kompas100399, kompas101004,
kompas110201, kompas111099, kompas121099, kompas150304-002,
kompas190802, kompas191099, kompas200799, kompas210502,
kompas220901-002, kompas230603, kompas240803, kompas260203,
kompas270204, kompas280602, kompas290404, mediaindonesia050604002,
mediaindonesia060903,
mediaindonesia090903,
mediaindonesia160903,
pembaruan110903,
poskota110703,
republika060903, republika070104, republika080703, republika100804,
republika100903,
republika101203,
republika110604-002,
republika131203-001,
republika150604-003,
republika150903,
republika190803,
republika251002-003,
republika290704-003,
republika300604-001,
situshijau091203-002,
situshijau280203,
suarapembaruan140303
jurnal000000-018,
kompas121099,
puslitbang000000-001,
republika220604-003,
republika290704-002,
situshijau000000-002,
situshijau030603-001,
situshijau040603,
situshijau050703-001,
situshijau070103-001,
situshijau070103-002,
situshijau070103-003,
situshijau100603-002,
situshijau100603-003,
situshijau110303-002,
situshijau130103-001,
situshijau130503-001,
situshijau130503-002,
situshijau140103-002, situshijau140103-003, situshijau140503-001-01,
situshijau140903-001,
situshijau150403-001,
situshijau150403-002,
situshijau160103,
situshijau180603-003,
situshijau180803-003,
situshijau200103-001,
situshijau210103-003,
situshijau210503-001,
situshijau270303-004,
situshijau270503-002,
situshijau270703-005,
situshijau300403,
situshijau310303,
situshijau310303-No,
suarakarya000000-001-02,
suarakarya000000-014,
suarapembaruan020603,
suarapembaruan020603-No,
suarapembaruan151102, wartapenelitian000000-009

13

Lanjutan
Kueri

Gugus Jawaban

Penerapan teknologi
pertanian

indosiar250204-001, jurnal000000-001, jurnal000000-011, jurnal000000013,
jurnal000000-017,
jurnal000000-024,
kompas121099,
kompas251003,
kompas290402,
mediaindonesia170403,
republika050903,
republika131203-001,
republika140604-001,
republika180504-001,
republika201102,
republika220604-003,
republika230704-08,
republika260803,
situshijau030603-001,
situshijau080103,
situshijau100603-003,
situshijau140103-002,
situshijau140903-001,
situshijau140903-003,
situshijau180603-003,
situshijau180803-002,
situshijau181103-002,
situshijau270303-004,
situshijau270503-002,
situshijau270703-005,
situshijau281003-003,
situshijau290503-003, suarakarya000000-034, suarapembaruan020603No,
suarapembaruan060602,
suarapembaruan160702,
wartapenelitian000000-003,
wartapenelitian000000-007,
wartapenelitian000000-009

Penyakit hewan
ternak/penyakit ternak

gatra270104-002, gatra270104-003, gatra300104, mediaindonesia090204,
republika150103,
republika160704-003,
republika260704-004,
republika300604-002, suarakarya000000-004, suarakarya000000-008,
suarakarya000000-014, suarakarya000000-017, suaramerdeka260302-01

Penyuluhan pertanian

bitraindonesia000000-001,
gatra190902-02,
indosiar310504,
jurnal000000-005, jurnal000000-014, kompas050802, kompas130699,
kompas170104,
kompas200503-002,
mediaindonesia160603,
poskota110703,
republika030903-002,
republika050804-001,
republika061003, republika171003, republika180303, republika200203,
republika210504-001,
republika220604-003,
republika260604-003,
republika300604-003,
situshijau201003-002,
situshijau230103-001,
situshijau270703-001, suaramerdeka271102, wartapenelitian000000-002,
wartapenelitian000000-007

Perdagangan hasil
pertanian

gatra011102, indosiar070204, indosiar201103, jurnal000000-002,
jurnal000000-027, kompas031003, kompas041102, kompas101002,
kompas140802, kompas160304, kompas270401, kompas270502-001,
kompas271103,
kompas311203,
mediaindonesia030104,
mediaindonesia101003, mediaindonesia150903, mediaindonesia170303,
republika020604-001,
republika041102,
republika281202,
situshijau130303-001,
situshijau191103,
situshijau240203-002,
suarakarya000000-013, suaramerdeka120104, suaramerdeka270601,
suarapembaruan080903-001,
suarapembaruan080903-002,
wartapenelitian000000-006

Pertanian organik/sistem
pertanian organik

indosiar250204-002, jurnal000000-017, kompas010499, kompas030502002, kompas050802, kompas081203, kompas181099, kompas221001,
kompas241203, kompas260304, kompas270502-002, kompas300502-001,
republika131203-001,
republika150303,
republika180303,
situshijau070503,
situshijau091203-001,
situshijau091203-004,
situshijau290503-003,
suarakarya000000-001-02,
suarapembaruan000000-002,
suarapembaruan090202,
suarapembaruan110702-01, suarapembaruan160702
indosiar190504-002, indosiar290604, kompas031003, kompas250901,
kompas310702,
republika010704-003,
republika020804,
republika100902,
republika140704-004,
republika150604-002,
republika200704-001,
republika220604-002,
republika280704-002,
republika310704-001,
situshijau280203,
suarakarya000000-007,
suarakarya000000-028, suaramerdeka130902, suarapembaruan100903,
suarapembaruan220403

Petani tebu

14

Lanjutan
Kueri

Gugus Jawaban

Peternak unggas/peternak
ayam/peternak burung

gatra270104-001, gatra270104-002, gatra300104, indosiar020304,
indosiar161203, indosiar240204, jurnal000000-009, kompas051103,
kompas120101,
mediaindonesia090204,
republika061003,
republika100604-002,
republika190504-001,
republika210504-001,
situshijau280404-004, suarakarya000000-001, suarakarya000000-008,
suarakarya000000-014, suarakarya000000-017, suarapembaruan220802
jurnal000000-003,
kompas120101,
kompas150201,
mediaindonesia010304, mediaindonesia090204, republika100604-002,
republika150303,
republika170704-007,
republika210504-001,
republika220704-003,
republika260604-001,
republika290704-002,
republika300604-002, situshijau190303-001, suarakarya000000-001,
suarakarya000000-008, suarakarya000000-013, suarakarya000000-014,
suarapembaruan151102
balaipenelitian000000-001,
kompas270502-002,
kompas280502,
kompas300502-001,
republika050804-007,
republika190104,
republika201102,
republika270604,
situshijau091203-004,
situshijau140103-001, suarakarya000000-001-02, suarakarya000000-037,
suaramerdeka031101, suaramerdeka170602-002, suarapembaruan090202,
suarapembaruan130103,
suarapembaruan160702,
suarapembaruan220802,
wartapenelitian000000-002,
wartapenelitian000000-008

Produk usaha peternakan
rakyat/produk peternakan

Pupuk organik

Riset pertanian

balaipenelitian000000-012,
gatra270104-002,
indobic130504-001,
jurnal000000-008, jurnal000000-015, jurnal000000-018, jurnal000000019, jurnal000000-026, kompas010499, kompas170104, kompas221003,
kompas230603,
mediaindonesia131003,
puslitbang000000-001,
republika030903-002,
republika070604-002,
republika100704-002,
republika140104,
republika170604-001,
republika190604-001,
republika190604-002,
republika210704-001,
republika210704-003,
republika220604-003,
republika241203,
republika260803,
republika280703,
republika300604-003,
situshijau040603,
situshijau070503,
situshijau080503-001,
situshijau091203-003,
situshijau101103-004,
situshijau130103-001,
situshijau130503-002,
situshijau140103-002,
situshijau140903-001,
situshijau140903-003,
situshijau150403-002,
situshijau180803-002,
situshijau181103-002,
situshijau200103-001, situshijau200103-001-No, situshijau201003-002,
situshijau210103-003,
situshijau210503-001,
situshijau250203,
situshijau270303-004,
situshijau290503-001,
situshijau300403,
situshijau310303, suarakarya000000-001-02, suarakarya000000-010,
suarakarya000000-019, suarakarya000000-027, suarakarya000000-034,
suarakarya000000-037, suaramerdeka270601, suarapembaruan000000002,
suarapembaruan020603,
suarapembaruan060602,
suarapembaruan110702,
suarapembaruan110702-01,
suarapembaruan151102,
suarapembaruan160702,
suarapembaruan241003,
suarapembaruan290802-001,
wartapenelitian000000-007, wartapenelitian000000-009

15

Lanjutan
Kueri
Swasembada pangan

Tadah hujan

Tanaman obat

Gugus Jawaban
indosiar021203-002, kompas060503, kompas100901, kompas110201,
kompas150304-002, kompas170104, kompas230603, kompas230899,
kompas270203-001,
kompas270401,
kompas270502-002,
mediaindonesia160603,
republika030304,
republika060503,
republika061003,
republika080703,
republika100704-005,
republika220604-003,
republika220604-003,
republika230902-001,
republika230902-002,
republika231202-001,
republika231202-002,
suarakarya000000-001-02, suarakarya000000-002-02, suarakarya000000016,
suarakarya000000-021,
suaramerdeka170602-001,
suarapembaruan110903, suarapembaruan221102
gatra210704,
gatra301002,
indosiar260803-001,
indosiar310504,
jurnal000000-001,
kompas270502-002,
mediaindonesia160603,
mediai