Evaluasi dan Validasi Hasil

8 4. Integration and system testing Pada fase ini, akan dilakukan pengujian terhadap sistem pencarian dokumen jurnal menggunakan BM25+, apakah sistem sudah sesuai dengan definisi kebutuhan yang ditentukan sebelumnya dan memberikan dokumen yang relevan dengan query pengguna. Teknik pengujian sistem yang akan digunakan pada fase ini yaitu Static Testing, White Box Testing, Black Box Testing, dan Performance Testing Everett McLeod Jr., 2007. Sedangkan untuk pengujian tingkat akurasi metode BM25+ akan dilakukan perhitungan Precision dan Recall Manning et al, 2008. 5. Operation and maintenance Setelah sistem dinyatakan selesai, maka sistem akan dirilis. Para pengguna sistem akan memberikan feedback setelah menggunakan sistem seperti ditemukan bug pada sistem, maka sistem akan segera di analisis dan diperbaiki. Jika tidak ditemukan permasalahan yang signifikan maka sistem akan dinyatakan selesai dan dirilis sebagai versi 1.0.

1.6.6 Evaluasi dan Validasi Hasil

Pada penelitan ini akan dilakukan pengujian dari sisi sistem dan sisi metode yang digunakan. Untuk pengujian sistem dilakukan 5 pengujian yang berupa Static Testing, Black Box Testing, White Box Testing, dan Performance Testing. Untuk pengujian metode digunakan perhitungan Precision dan Recall. 1. Static Testing Pada pengembangan sistem ini akan dilakukan static testing dengan menggunakan metode desk checking. Metode desk checking dilakukan dengan menguji apakah hasil dokumentasi perancangan sistem pada fase System and software design dapat diimplementasikan dengan benar, dan definisi kebutuhan mampu dipenuhi berdasarkan rancangan sistem. 9 Tabel 1.3. Rancangan Tabel Static Testing No Kebutuhan Sistem Implementasi Sistem Keterangan 1 Kebutuhan A Implementasi A Sesuai 2 Kebutuhan B Implementasi B Tidak Sesuai 3 Kebutuhan C Implementasi C Kurang Sesuai 2. Black Box Testing Black Box Testing bertujuan untuk mengetahui tingkah laku sistem apakah sistem sudah berjalan sesuai yang diinginkan. Pengujian dituangkan dalam bentuk tabel uji Tabel 1.4 dengan melakukan berbagai macam skenario terdapat sistem dilihat hasilnya dan disimpulkan validasinya. Tabel 1.4. Rancangan Tabel Black Box Testing No Butir Uji Skenario pengujian Keluaran pengujian Hasil yang Diharapkan Kesimpulan 1 Pengujian 1 Skenario 1 Output 1 Hasil 1 Valid 2 Pengujian 2 Skenario 2 Output 2 Hasil 2 Valid 3 Pengujian 3 Skenario 3 Output 3 Hasil 3 Valid 3. White Box Testing Pengujian white box pada penelitian ini, akan dilakukan dengan pengujian basis path atau dikenal dengan Cyclomatic Complexity yang tahapannya terdiri dari Pressman, 2010: 1. Menggambar flowgraph yang ditransfer oleh flowchart. 2. Menghitung Cylomatic Complexity VG untuk flowgraph yang telah dibuat. 3. Menentukan jalur pengujian dari flowgraph yang berjumlah sesuai dengan Cyclomatic Complexity yang telah ditentukan. Cyclomatic Complexity yang tinggi menunjukkan prosedur kompleks yang sulit untuk dipahami, diuji dan dipelihara. 10 4. Performance Testing Pengujian akan dilakukan dengan mencatat waktu yang digunakan untuk memproses sebuah query hingga pengembalian dokumen yang didapat oleh sistem. Pada setiap tahap percobaan query dilakukan penambahan dokumen pada koleksi dokumen untuk mengetahui kinerja sistem apabila koleksi dokumen terus bertambah. Berikut adalah rancangan tabel Performance Testing. Tabel 1.5. Rancangan Tabel Performance Testing Query Jumlah dokumen 10 20 30 40 Query 1 0,1 detik 0,2 detik 0,3 detik 0,4 detik Query 2 0,1 detik 0,2 detik 0,3 detik 0,4 detik Query 3 0,1 detik 0,2 detik 0,3 detik 0,4 detik 5. Precision dan Recall Precision dan Recall digunakan untuk menguji tingkat relevansi informasi hasil pencarian dokumen dengan query pengguna Manning et al, 2008. Precision dapat dianggap sebagai ukuran ketepatan atau ketelitian, sedangkan recall dapat diartikan sebagai kesempurnaan. Nilai precision adalah proporsi dokumen yang terambil oleh sistem adalah relevan. Nilai recall adalah proporsi dokumen relevan yang terambil oleh sistem. Berikut adalah rancangan tabel pengujian precision dan recall. Tabel 1.6. Rancangan Tabel Precision dan Recall Query Dokumen Relevan Tidak Relevan Dokumen Terambil Tidak Ditemukan Total Dokumen Relevan Recall Precision 11

1.6.7 Jadwal Pelaksanaan Kegiatan