9 terpendek dianggap sebagai jawaban yang
paling tepat. Contoh hasil percobaan menggunakan kueri
“
Siapa Muwardi P. Simatupang
?”, diperoleh 19 passages pada satu dokumen
teratas. Setelah diambil passage yang mengandung tag NAME atau
ORGANIZATION diperoleh 12 passage dari 19 passage. TopPassage yang diperoleh dengan
heuristic, rule-based
serta gabungan heuristic dan rule-based
adalah sama. Nilai pembobotan untuk rule-based 5,078 ,heuristic 10 dan
gabungan kedua metode adalah 7,53. Top passages
yang diperoleh:
Ini mungkin karena pendekatan pembangunan pertanian masih
bersifat subsisten kata ORGANIZATION Ketua Umum Dewan
Pimpinan Pusat Himpunan Alumni Institut Pertanian Bogor
ORGANIZATION NAME Muwardi P Simatupang
NAME pada acara diskusi Membangun Pertanian
LOCATION Indonesia LOCATION Untuk Meningkatkan Pendapatan
Petani dan Negara di LOCATION Jakarta LOCATION DATE
Kamis224 DATE NAME MuwardiNAME mengatakan
pendekatan subsisten merupakan pendekatan yang menitikberatkan
pada peningkatan produksi
Kandidat jawaban yang diperoleh hanya ada satu yaitu kata Ketua Umum Dewan Pimpinan
Pusat Himpunan Alumni Institut Pertanian Bogor sehingga kata tersebut menjadi jawaban
akhir.
Hasil Percobaan
Hasil percobaan dilakukan dengan membandingkan hasil penelitian yang dilakukan
oleh penulis dengan hasil penelitian Cidhy 2009. Perbandingan dilakukan dengan melihat
perolehan top passage, ketepatan jawaban dan dokumen yang ditemukembalikan dengan
menggunakan tiga pembobotan passages yaitu heuristic
Cidhy 2009, rule-based serta gabungan heuristic dan rule-based dengan
menggunakan 10 dokumen teratas. Jumlah koleksi dokumen yang digunakan
sebanyak 106 dokumen dan sebanyak 40 kueri. Kueri tersebut diambil dari penelitian Cidhy
2009. Proses dokumentasi evaluasi kueri dicatat dalam bentuk tabel yang terdiri atas
sumber dokumen, pertanyaan kueri, perolehan passages
, ketepatan dokumen, ketepatan jawaban, dan koreksi. Kemudian dilakukan
pencocokan antara hasil pencarian yang diperoleh terhadap pasangan dokumen dan
kueri pertanyaan yang seharusnya. Berdasarkan kesesuaian pasangan jawaban dan dokumen,
penilaian dibedakan menjadi 4 jenis yaitu : right
, wrong, unsupported, dan null. Persentase evaluasi hasil percobaan yang dilakukan oleh
Cidhy dan penulis dapat dilihat pada Tabel 2. Berikut pembahasan untuk masing-masing
percobaan :
1. Perbandingan Hasil Percobaan Untuk Kata Tanya SIAPA
Berdasarkan 10 kueri pertanyaan yang diuji, diambil contoh kueri pertanyaan
Siapa Bungaran Saringgih ?
. Hasil penelitian Cidhy 2009 dan penulis mengembalikan 10
dokumen teratas yang sama, namun mengembalikan top passage dan jawaban yang
berbeda. Top passage yang diperoleh pada penelitian Cidhy 2009 :
Tabel 2 Persentase perolehan jawaban oleh Cidhy 2009 dan penulis menggunakan 10 dokumen teratas
Kata Tanya
Penelitian Cidhy 2009 Penelitian Oleh Penulis
Pembobotan Heuristic Pembobotan Rule-Based
Heuristic dan Rule-Based
1 2 3 4 1 2 3 4 1 2 3 4 Siapa
70 0 20 10 80 0 10 10 70 0 20 10 Berapa
40 10 50 0 50 10 40 10 40 10 50 Dimana
90 0 10 0 80 0 20 0 80 0 20 Kapan
100 0 0 0 100 0 0 0
100 0 0 0 Keterangan 1: Right 2: Unsupported 3: Wrong 4: Null
10
Menurut NAME Bungaran Saragih NAME, hal tersebut wajar dengan
keadaan setiap penyalur pupuk, dimana mereka memerlukan waktu
dalam proses pengepakan kembali. Mengenai kelangkaan pupuk di
LOCATION Cirebon LOCATION yang hanya terjadi di beberapa
kecamatan, NAME Bungaran Saragih NAME menegaskan bahwa produsen
pupuk setempat telah menutupi kelangkaan tersebut dengan
pengiriman pupuk dari luar wilayah LOCATION Cirebon LOCATION.
Top passage di atas diperoleh dari dokumen
indosiar260504.txt
. Berdasarkan hasil top passage
, tidak diperoleh kandidat jawaban sehingga jawaban yang dikembalikan null.
Dengan menggunakan kueri pertanyaan yang sama, penelitian yang dilakukan
menggunakan rule-based menghasilkan kriteria right
yaitu
Menteri Pertanian
. Jawaban ini diperoleh setelah sistem mengembalikan top
passage sebagai berikut :
Dalam acara yang dihadiri ORGANIZATION Menteri Pertanian
ORGANIZATION NAMEBungaran SaragihNAME, ORGANIZATION
Menteri Kelautan dan Perikanan ORGANIZATION NAME Rokhmin
Dahuri NAME, serta Menakertrans NAME Jacob Nuwa Wea NAME,
NAME Presiden Megawati NAME menyampaikan rasa terima kasihnya
kepada masyarakat LOCATION Gorontalo LOCATION yang telah
bekerja keras menanam dan memproduksi jagung. Dalam pidato
tanpa teks, NAMEMegaNAME mengatakan, Saya melihat potensi
menanam jagung di LOCATION GorontaloLOCATION memang bisa
digerakkan, bahkan bisa menjadi satu potensi yang sangat luar
biasa.
Top passage di atas diperoleh dari dokumen
indosiar260504.txt.
Masih menggunakan kueri pertanyaan yang sama, penelitian yang dilakukan menggunakan
gabungan heuristic dan rule-based juga menghasilkan kriteria null yaitu tidak
mengembalikan jawaban. Hal ini disebabkan top
passage yang dihasilkan sama dengan top passage
pada penelitian Cidhy 2009. Jawaban yang diperoleh dengan rule-based
lebih tepat dibanding metode yang lain. Hal ini disebabkan oleh top passage yang dihasilkan
rule-based lebih relevan dibanding metode
yang lain.
Persentase ketepatan jawaban untuk kata tanya SIAPA pada penelitian Cidhy 2009
menghasilkan persentase kriteria right sebesar 70, wrong 20 dan null 10, sedangkan
hasil penelitian penulis menghasilkan persentase kriteria right sebesar 80, wrong
10 dan null 10 untuk rule-based dan kriteria right
sebesar 70, wrong 20 dan null 10 untuk gabungan heuristic dan rule-based.
Daftar kueri pertanyaan dan evaluasi untuk kata tanya SIAPA dapat dilihat pada Lampiran 4.
2. Perbandingan Hasil Percobaan Untuk Kata Tanya KAPAN
