Kriteria Evaluasi Pengertian Recall Dan Precision

31

2. Tujuan Evaluasi

Menurut Swanson yang dikutip oleh Chowdhury dalam buku Introduction to Modern Information Retrieval menyatakan bahwa studi evaluasi memiliki beberapa tujuan, sebagai berikut: a. Untuk menilai tujuan dan rencana program sebelum melaksanakan program tersebut. b. Untuk menentukan seberapa baik kinerja tujuan atau harapan yang diinginkan. c. Untuk menentukan alasan atau penyebab dari keberhasilan maupun kegagalan program tersebut. d. Untuk mengungkap prinsip-prinsip yang mendasari suatu program yang berhasil. e. Untuk mengekspolarasi teknik yang dapat meningkatkan efektivitas program. f. untuk memperbaiki cara yang digunakan untuk mencapai tujuan

3. Kriteria Evaluasi

Menurut Salton dan McGill yang dikutip oleh Chowdhury dalam buku Introduction to Modern Information Retrieval menyatakan bahwa mengidentifikasi berbagai parameter sistem pencarian informasi, masing- masing lima kriteria evaluasi yakni: 31 Tabel 2.1 Kriteria Evaluasi No Kriteria evaluasi Parameter sistem 1. Recall and precision  Indeks exhaustivity Istilah indeks yang mendalam dapat meningkatkan recall.  Term spesifitas Istilah indeks yang khusus dapat meningkatkan nilai precision.  Bahasa pengindeksan 31 Chowdhury, G.G., Introduction to Modern Information Retrieval, London: Library Association Publishing, 1999. 32 menyediakan langkah-langkah untuk pengenalan sinonim, istilah-istilah yang terkait dll yang meningkatkan recall.  Perumusan permintaan Kemampuan untuk merumuskan permintaan pencarian yang akurat.  Strategi pencarian Kemampuan penguna untuk merumuskan strategi pencarian yang memadai. 2. Respon waktu  Pengorganisasian dokumen yang tersedia  Jenis query  Lokasi pusat informasi  Frekuensi yang menerima permintaan pengguna  Ukuran koleksi 3. Upaya pengguna  Aksesibilitas system  Sistem menyediakan pedoman cara mengunakanya.  Fasilitas untuk berinteraksi dengan sistem 4. Dari segi penyajian  Sifat output : referensi bibliografi, abstrak atau full text 5. Cakupan koleksi  Jenis perangkat input dan ukuran perangkat penyimpanan  Kedalaman analisis subjek  Sifat permintaan pengguna  Bentuk fisik dokumen

4. Pengertian Recall Dan Precision

Salah satu penerapan prinsip relevansi yang sejak dahulu digunakan dalam pengembangan sistem information retrieval IR adalah penggunaan ukuran recall and precision. Terjemahan yang pas untuk istilah ini dalam bahasa Indonesia belum ditemukan. Istilah recall digunakan pula dalam psikologi untuk menjelaskan proses mengingat yang dikerjakan otak manusia. Kata lain untuk recall dalam bahasa Inggris adalah remember, recollect, remind. Di bidang IR, recall berkaitan dengan kemampuan menemukan- 33 kembali butir informasi yang sudah tersimpan. Jadi, terjemahan bebasnya mungkin ada lah “penemuan-kembali”. Precision dapat diartikan sebagai kepersisan atau kecocokan antara permintaan informasi dengan jawaban terhadap permintaan itu. Jika seseorang mencari informasi di sebuah sistem, dan sistem menawarkan beberapa dokumen, maka kepersisan ini sebenarnya juga adalah relevansi. Artinya, seberapa persis atau cocok dokumen tersebut untuk keperluan pencari informasi, bergantung pada seberapa relevan dokumen tersebut bagi si pencari. Recall adalah proporsi jumlah dokumen yang dapat ditemukan- kembali oleh sebuah proses pencarian di sistem IR. Lalu, precision adalah proporsi jumlah dokumen yang ditemukan dan dianggap relevan untuk kebutuhan si pencari informasi. Rumus untuk mengetahui jumlah recall and precision adalah sebagai berikut : Recall = Jumlah item yang relevan diperoleh dari sistem x 100 Jumlah koleksi yang dimiliki oleh perpustakaan Precision = Jumlah item relevan yang ditemukan di rak x 100 Jumlah item yang relevan diperoleh dari sistem Kedua ukuran di atas biasanya diberi nilai dalam bentuk persentase, 1 sampai 100. Sebuah sistem informasi akan dianggap baik jika tingkat recall maupun precision-nya tinggi. Jika ada seseorang mencari dokumen tentang “Pangeran Diponegoro” pada sebuah sistem, dan jika sistem tersebut memiliki 100 buku tentang Pangeran Diponegoro, maka kinerja terbaik adalah jika 34 sistem tersebut berhasil menemukan 100 dokumen tentang Pangeran Diponegoro. Kalau sistem tersebut memberikan 100 temuan, dan di temuan tersebut ada 50 d okumen tentang “Pangeran Diponegoro”, maka nilai recall-nya adalah 0,5 atau 50 dan nilai precision-nya juga 0,5. Kalau sistem tersebut memberikan 1 dokumen saja, dan dokumen tersebut adalah tentang “Pangeran Diponegoro”, maka recall-nya bernilai 0,01 dan precision-nya bernilai 1. Perhatikan bahwa nilai precision yang tinggi ini sebenarnya terjadi karena sistem memberikan hanya 1 jawaban kepada si pencari informasi. Kalau sistem memberikan 100 dokumen, dan hanya 1 yang relevan, maka nilai recall-nya tetap 0,01 dan precision-nya pun ikut merosot ke 0,01. Dalam perkembangan teori IR, ukuran dan eksperimen terhadap kinerja sebuah sistem semakin diupayakan untuk mengakomodasi berbagai kemungkinan dalam situasi yang sesungguhnya. Misalnya, Lancaster merumuskan matriks terkenal berikut ini sebagai ukuran recall-precision: 32 Tabel 2.2 Rumus recall and precision Relevan Tidak Relevan Total Ditemukan a hits b noise a + b Tidak ditemukan c misses d rejected c + d Total a+b c+d a+b+c+d 32 Putu Laxman Pendit, Perpustakaan digital : dari A sampai Z. Jakarta : Cita karyakarsa mandiri, 2008. h 267 35 Lalu, berdasarkan tabel tersebut, rumus recall – precision pun menjadi: Recall =[aa+c]x100 Precision =[a a+b] x 100 Lewat rumus ini kita dapat membayangkan bahwa sebuah sistem harus meningkatkan nilai recall dengan memperbesar nilai a di rumus di atas atau nilai hits. Nilai a yang besar ini dapat terjadi jika jumlah dokumen yang diberikan oleh sebuah sistem dalam sebuah pencarian juga besar. Semakin besar jumlah dokumen yang diberikan, semakin besar kemungkinan nilai a. Tetapi pada saat yang sama, muncul kemungkinan bahwa nilai b atau jumlah dokumen yang tidak relevan juga semakin besar. Ini artinya, nilai precision- nya semakin kecil. Dalam berbagai eksperimen ditemukan kenyataan bahwa nilai recall dan precison ini cenderung berlawanan alias berbanding-terbalik. Jika recall tinggi, besar kemungkinannya precision rendah. Ukuran recall-precision ini juga sangat bergantung pada apa yang sesungguhnya dimaksud dengan “dokumen yang relevan” itu dan bagaimana memastikan relevan-tidaknya sebuah dokumen. Salah satu kritik terhadap prinsip recall-precision ini menyatakan bahwa ukuran ideal sebuah sistem selama ini terlalu berpihak kepada mesin dan logika yang terlalu ketat. Sangatlah sulit mencapai tingkat recall-precision yang ideal karena keduanya berdasarkan pada ukuran relevansi yang amat lentur dan dinamis. 36 Selain itu, seorang pencari informasi seringkali tidak hanya peduli pada relevansi, melainkan juga pada banyak hal lain, seperti kecepatan proses pencarian, kemudahan dalam mengajukan permintaan informasi, kenyamanan dalam memandang layar komputer, dan sebagainya. Seringkali seorang pencari informasi rela mengorbankan tingkat precision, asalkan sistem yang dipakainya memberikan respon yang cepat. 33

D. Senayan Library Managemen System SLIMS