31
2. Tujuan Evaluasi
Menurut Swanson yang dikutip oleh Chowdhury dalam buku Introduction to Modern Information Retrieval menyatakan bahwa studi
evaluasi memiliki beberapa tujuan, sebagai berikut:
a. Untuk menilai tujuan dan rencana program sebelum melaksanakan
program tersebut. b.
Untuk menentukan seberapa baik kinerja tujuan atau harapan yang diinginkan.
c. Untuk menentukan alasan atau penyebab dari keberhasilan maupun
kegagalan program tersebut. d.
Untuk mengungkap prinsip-prinsip yang mendasari suatu program yang berhasil.
e. Untuk mengekspolarasi teknik yang dapat meningkatkan efektivitas
program. f.
untuk memperbaiki cara yang digunakan untuk mencapai tujuan
3. Kriteria Evaluasi
Menurut Salton dan McGill yang dikutip oleh Chowdhury dalam buku Introduction to Modern Information Retrieval menyatakan bahwa
mengidentifikasi berbagai parameter sistem pencarian informasi, masing- masing lima kriteria evaluasi yakni:
31
Tabel 2.1 Kriteria Evaluasi
No Kriteria evaluasi
Parameter sistem
1. Recall and precision
Indeks exhaustivity Istilah indeks yang mendalam dapat
meningkatkan recall.
Term spesifitas Istilah
indeks yang
khusus dapat
meningkatkan nilai precision.
Bahasa pengindeksan
31
Chowdhury, G.G., Introduction to Modern Information Retrieval, London: Library Association Publishing, 1999.
32
menyediakan langkah-langkah
untuk pengenalan sinonim, istilah-istilah yang
terkait dll yang meningkatkan recall.
Perumusan permintaan Kemampuan
untuk merumuskan
permintaan pencarian yang akurat.
Strategi pencarian Kemampuan penguna untuk merumuskan
strategi pencarian yang memadai. 2. Respon waktu
Pengorganisasian dokumen yang tersedia
Jenis query
Lokasi pusat informasi
Frekuensi yang menerima permintaan
pengguna
Ukuran koleksi 3. Upaya pengguna
Aksesibilitas system
Sistem menyediakan pedoman cara
mengunakanya.
Fasilitas untuk berinteraksi dengan sistem 4. Dari segi penyajian
Sifat output : referensi bibliografi, abstrak
atau full text 5. Cakupan koleksi
Jenis perangkat input dan ukuran perangkat
penyimpanan
Kedalaman analisis subjek
Sifat permintaan pengguna
Bentuk fisik dokumen
4. Pengertian Recall Dan Precision
Salah satu penerapan prinsip relevansi yang sejak dahulu digunakan dalam pengembangan sistem information retrieval IR adalah penggunaan
ukuran recall and precision. Terjemahan yang pas untuk istilah ini dalam bahasa Indonesia belum ditemukan. Istilah recall digunakan pula dalam
psikologi untuk menjelaskan proses mengingat yang dikerjakan otak manusia. Kata lain untuk recall dalam bahasa Inggris adalah remember, recollect,
remind. Di bidang IR, recall berkaitan dengan kemampuan menemukan-
33
kembali butir informasi yang sudah tersimpan. Jadi, terjemahan bebasnya mungkin ada
lah “penemuan-kembali”. Precision dapat diartikan sebagai kepersisan atau kecocokan antara
permintaan informasi dengan jawaban terhadap permintaan itu. Jika seseorang mencari informasi di sebuah sistem, dan sistem menawarkan
beberapa dokumen, maka kepersisan ini sebenarnya juga adalah relevansi. Artinya, seberapa persis atau cocok dokumen tersebut untuk keperluan
pencari informasi, bergantung pada seberapa relevan dokumen tersebut bagi si pencari.
Recall adalah proporsi jumlah dokumen yang dapat ditemukan- kembali oleh sebuah proses pencarian di sistem IR. Lalu, precision adalah
proporsi jumlah dokumen yang ditemukan dan dianggap relevan untuk kebutuhan si pencari informasi.
Rumus untuk mengetahui jumlah recall and precision adalah sebagai
berikut :
Recall = Jumlah item yang relevan diperoleh dari sistem
x 100 Jumlah koleksi yang dimiliki oleh perpustakaan
Precision = Jumlah item relevan yang ditemukan di rak x 100
Jumlah item yang relevan diperoleh dari sistem
Kedua ukuran di atas biasanya diberi nilai dalam bentuk persentase, 1 sampai 100. Sebuah sistem informasi akan dianggap baik jika tingkat recall
maupun precision-nya tinggi. Jika ada seseorang mencari dokumen tentang “Pangeran Diponegoro” pada sebuah sistem, dan jika sistem tersebut memiliki
100 buku tentang Pangeran Diponegoro, maka kinerja terbaik adalah jika
34
sistem tersebut berhasil menemukan 100 dokumen tentang Pangeran Diponegoro.
Kalau sistem tersebut memberikan 100 temuan, dan di temuan tersebut ada 50 d
okumen tentang “Pangeran Diponegoro”, maka nilai recall-nya adalah 0,5 atau 50 dan nilai precision-nya juga 0,5. Kalau sistem tersebut
memberikan 1 dokumen saja, dan dokumen tersebut adalah tentang “Pangeran Diponegoro”, maka recall-nya bernilai 0,01 dan precision-nya bernilai 1.
Perhatikan bahwa nilai precision yang tinggi ini sebenarnya terjadi karena sistem memberikan hanya 1 jawaban kepada si pencari informasi. Kalau
sistem memberikan 100 dokumen, dan hanya 1 yang relevan, maka nilai recall-nya tetap 0,01 dan precision-nya pun ikut merosot ke 0,01.
Dalam perkembangan teori IR, ukuran dan eksperimen terhadap kinerja sebuah sistem semakin diupayakan untuk mengakomodasi berbagai
kemungkinan dalam situasi yang sesungguhnya. Misalnya, Lancaster merumuskan matriks terkenal berikut ini sebagai ukuran recall-precision:
32
Tabel 2.2 Rumus recall and precision
Relevan Tidak Relevan
Total Ditemukan
a hits b noise
a + b Tidak ditemukan
c misses d rejected c + d
Total a+b
c+d a+b+c+d
32
Putu Laxman Pendit, Perpustakaan digital : dari A sampai Z. Jakarta : Cita karyakarsa mandiri, 2008. h 267
35
Lalu, berdasarkan tabel tersebut, rumus recall – precision pun
menjadi: Recall
=[aa+c]x100 Precision
=[a a+b] x 100 Lewat rumus ini kita dapat membayangkan bahwa sebuah sistem harus
meningkatkan nilai recall dengan memperbesar nilai a di rumus di atas atau nilai hits. Nilai a yang besar ini dapat terjadi jika jumlah dokumen yang
diberikan oleh sebuah sistem dalam sebuah pencarian juga besar. Semakin besar jumlah dokumen yang diberikan, semakin besar kemungkinan nilai a.
Tetapi pada saat yang sama, muncul kemungkinan bahwa nilai b atau jumlah dokumen yang tidak relevan juga semakin besar. Ini artinya, nilai precision-
nya semakin kecil. Dalam berbagai eksperimen ditemukan kenyataan bahwa nilai recall dan precison ini cenderung berlawanan alias berbanding-terbalik.
Jika recall tinggi, besar kemungkinannya precision rendah. Ukuran recall-precision ini juga sangat bergantung pada apa yang
sesungguhnya dimaksud dengan “dokumen yang relevan” itu dan bagaimana memastikan relevan-tidaknya sebuah dokumen. Salah satu kritik terhadap
prinsip recall-precision ini menyatakan bahwa ukuran ideal sebuah sistem selama ini terlalu berpihak kepada mesin dan logika yang terlalu ketat.
Sangatlah sulit mencapai tingkat recall-precision yang ideal karena keduanya berdasarkan pada ukuran relevansi yang amat lentur dan dinamis.
36
Selain itu, seorang pencari informasi seringkali tidak hanya peduli pada relevansi, melainkan juga pada banyak hal lain, seperti kecepatan proses
pencarian, kemudahan dalam mengajukan permintaan informasi, kenyamanan dalam memandang layar komputer, dan sebagainya. Seringkali seorang
pencari informasi rela mengorbankan tingkat precision, asalkan sistem yang dipakainya memberikan respon yang cepat.
33
D. Senayan Library Managemen System SLIMS