18
Tabel 2.5 Data Matriks Kemiripan
S1 S2
S3 Total
Skor S1
1 0.178555
0.326131 S2
1 0.12832
0.31223 S3
0.178555 0.12832
1 0.36164
Jumlah 1.178555
1.12832 1.306875
3.613749
2.5 Pembobotan Fitur Ekstraksi Teks
Pembobotan fitur ekstraksi teks adalah sebuah pendekatan yang dilakukan untuk menentukan kepentingan suatu fitur dari fitur-fitur yang akan diteliti dengan
cara mengalikan bobot dengan skor fitur ekstraksi Berker Gungor, 2012. Pembobotan ini sangat berpengaruh terhadap akurasi hasil ringkasan sistem
nantinya. Pembobotan fitur pada tugas akhir ini menggunakan algoritma genetika untuk memperoleh bobot yang optimal untuk tiap-tiap fiturnya. Skor untuk tiap
kalimat dapat dihitung dengan menggunakan rumus 2.6: 2.6
Diasumsikan w
i
adalah bobot fitur ke-i dan f
i
adalah fitur ekstraksi ke-i.
2.6 Evaluasi Hasil Ringkasan Sistem
Secara garis besar, metode evaluasi peringkasan teks otomatis dapat dikategorikan menjadi dua, yaitu metode intrinsik dan metode ekstrinsik
Steinberger Jezek, 2009. Metode intrinsik yaitu menguji kualitas ringkasan yang dihasilkan. Metode ekstrinsik menguji performansi hasil ringkasan dalam
memenuhi tugas-tugas tertentu, misalnya penggunaan hasil ringkasan pada information retrieval. Taksonomi evaluasi peringkasan teks dapat dilihat pada
Gambar 2.4. Metode evaluasi yang sering dilakukan pada penelitian peringkasan teks
adalah metode intrinsik. Pendekatan dalam evaluasi intrinsik yang dilakukan adalah membandingkan hasil peringkasan sistem dengan ringkasan ideal.
Ringkasan ideal dapat dibuat khusus oleh pakar atau dengan menggabungkan ringkasan-ringkasan yang dibuat oleh manusia menjadi sebuah ringkasan ideal.
19
Gambar 2.4 Taksonomi pengujian peringkasan teks
Penelitian ini menggunakan metode evaluasi Recall-Oriented Understudy for Gisting Evaluation ROUGE. ROUGE menghitung jumlah n-gram kata yang
overlap antara ringkasan sistem dengan ringkasan referensi Adapun teknik penghitungan ROUGE-N antara sebuah ringkasan sistem dan sekumpulan
ringkasan manual terdapat pada persamaan 2.7. 2.7
Dimana n adalah panjang dari n-gram, Count
match
gram
n
adalah jumlah n- gram yang sama antara sebuah ringkasan sistem dan sebuah ringkasan referensi,
Countgram
n
adalah jumlah n-gram dalam ringkasan referensi. Tabel 2.6 menunjukkan contoh perhitungan ROUGE-N pada Document
Understanding Conference 2003 Lin, 2004. C1 adalah kalimat ringkasan sistem. R1 dan R2 adalah kalimat dalam sebuah ringkasan referensi. Asumsikan bahwa
C1, R1 dan R2 sudah melewati proses text preprocessing. Ada 20 unigram, 19 bigram, 18 trigram, dan 17 4-gram token dari R1 dan R2 yang tercantum dalam
kolom total. Kolom match adalah jumlah kecocokan dari setiap ringkasan referensi. Skor akhir adalah perbandingan antara nilai Match dengan Total.
C1 : pulses may ease schizophrenic voices R1 : magnetic pulse series sent through brain may ease schizophrenic
voices
20
R2 : yale finds magnetic stimulation some relief to schizophrenics
imaginary voices
Tabel 2.6 Contoh Perhitungan ROUGE
n
R1 R2
Match Total Score
ROUGE
1
may, ease, schizophrenic, voices Voices
5 20
0.25 ROUGE
2
may ease, ease schizophrenic, schizophrenic voices
- 3
19 0.16
ROUGE
3
may ease schizophrenic, ease schizophrenic voices
- 2
18 0.11
ROUGE
4
may ease schizophrenic, ease schizophrenic voices
- 1
17 0.05
Studi awal dari Lin dan Hovy tahun 2003 Steinberger Jezek, 2009 menunjukkan bahwa evaluasi otomatis menggunakan versi unigram dari dari
ROUGE-N, yaitu ROUGE-1 berkolerasi baik dengan evaluasi manusia berdasarkan berbagai statistik. Oleh karena itu penelitian ini menggunakan
evaluasi hasil ringkasan sistem dengan ROUGE-1.
2.7 Algoritma Genetika
