Sistem Pendeteksi Plagiat Pada Dokumen Teks Berbahasa Indonesia Menggunakan Metode Rouge-N, Rouge-L Dan Rouge-W

ABSTRACT
FAKHRI MAHATHIR. Plagiarism Detection System on Indonesian Language Text Documents
Using ROUGE-N, ROUGE-L, and ROUGE-W. Under direction of AHMAD RIDHA.
Plagiarism is a serious problem in education. This research uses ROUGE-N (N = 3 or trigrams),
ROUGE-L, and ROUGE-W (with weighted function f(x2)) at the sentence level to detect plagiarism
on Indonesian language text documents. This research aim to obtain a suitable preprocessing for each
method of assessment. The preprocessing includes stopword removal and stemming. This research
uses clipping based on recall, precision, and f-measure. Analysis is restricted to preprocessing and
calculation method used in each assessment method. Stemming improves ROUGE-N, while stopword
removal negatively effects ROUGE-N. ROUGE-L and ROUGE-W performs well with f-measure
clipping. ROUGE-W is better without stemming.
Keyword: Recall-Oriented Understudy for Gisting Evaluation (ROUGE), plagiarism detection,
document similarity, information retrieval, Naïve Bayes Classifier.

SISTEM PENDE
DETEKSI PLAGIAT PADA DOKUME
EN TEKS
BERBAHASA
A INDONESIA MENGGUNAKAN METODE
ME
ROUG

UGE-N, ROUGE-L DAN ROUGE-W

FAKHRI MAHATHIR

DEP
EPARTEMEN ILMU KOMPUTER
FAKULTAS MATEM
TEMATIKA DAN ILMU PENGETAHU
HUAN ALAM
INSTI
INSTITUT
PERTANIAN BOGOR
BOGOR
2011

ABSTRACT
FAKHRI MAHATHIR. Plagiarism Detection System on Indonesian Language Text Documents
Using ROUGE-N, ROUGE-L, and ROUGE-W. Under direction of AHMAD RIDHA.
Plagiarism is a serious problem in education. This research uses ROUGE-N (N = 3 or trigrams),
ROUGE-L, and ROUGE-W (with weighted function f(x2)) at the sentence level to detect plagiarism

on Indonesian language text documents. This research aim to obtain a suitable preprocessing for each
method of assessment. The preprocessing includes stopword removal and stemming. This research
uses clipping based on recall, precision, and f-measure. Analysis is restricted to preprocessing and
calculation method used in each assessment method. Stemming improves ROUGE-N, while stopword
removal negatively effects ROUGE-N. ROUGE-L and ROUGE-W performs well with f-measure
clipping. ROUGE-W is better without stemming.
Keyword: Recall-Oriented Understudy for Gisting Evaluation (ROUGE), plagiarism detection,
document similarity, information retrieval, Naïve Bayes Classifier.

SISTEM PENDETEKSI PLAGIAT PADA DOKUMEN TEKS
BERBAHASA INDONESIA MENGGUNAKAN METODE
ROUGE-N, ROUGE-L, DAN ROUGE-W

FAKHRI MAHATHIR

Skripsi
Sebagai salah satu syarat untuk memperoleh gelar
Sarjana Komputer pada
Departemen Ilmu Komputer

DEPARTEMEN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
INSTITUT PERTANIAN BOGOR
BOGOR
2011

Judul
Nama
NRP

: Sistem Pendeteksi Plagiat pada Dokumen Teks Berbahasa Indonesia Menggunakan Metode
ROUGE-N, ROUGE-L, dan ROUGE-W
: Fakhri Mahathir
: G64052291

Menyetujui
Pembimbing

Ahmad Ridha, S.Kom, MS
NIP. 19800507 200501 1 001

Mengetahui
Ketua Departemen

Dr. Ir. Sri Nurdiati, M.Sc
NIP. 19601126 198601 2 001

Tanggal Lulus:

PRAKATA
Alhamdulillahi Rabbil ‘Alamin, puji dan syukur penulis panjatkan kepada Allah Subhanahu
Wata'ala atas curahan rahmat dan hidayah-Nya sehingga tugas akhir yang berjudul Sistem Pendeteksi
Plagiat pada Dokumen Teks Berbahasa Indonesia Menggunakan Metode ROUGE-N, ROUGE-L, dan
ROUGE-W dapat diselesaikan. Penelitian ini dilaksanakan mulai September 2010 sampai dengan Juni
2011, bertempat di Departemen Ilmu Komputer.
Penulis mengucapkan terima kasih kepada semua pihak yang telah membantu penulis dalam
menyelesaikan tulisan akhir ini, antara lain kepada Mama Diah, Om Cholid, Om Daus, Tante Vivi,
Papa, Nenek, Tante Tina, atas cinta kasih, bimbingan, dan iringan doa yang tak ternilai. Kepada adikadikku, Riri, Titi, dan Nia atas motivasi serta canda tawa yang diberikan. Kepada Trien Marlisa atas
kasih sayang yang tidak ternilai serta dukungan yang tak hentinya. Ucapan terima kasih dan
penghargaan yang setinggi-tingginya kepada Bapak Ahmad Ridha, S.Kom, MS selaku pembimbing

atas bimbingan dan arahan yang diberikan, tidak hanya mengenai tugas akhir ini tetapi juga tentang
kehidupan secara luas, Bapak Sony Hartono Wijaya S.Kom, M.Kom dan Ibu Dr. Ir. Sri Nurdiati,
M.Sc selaku dosen penguji yang telah memberikan saran dan kritik yang membangun kepada penulis.
Tidak lupa kepada semua dosen pengajar yang telah mendidik, membina, serta mengajar penulis
selama menjadi civitas akademika Departemen Ilmu Komputer. Kepada Pak Sholeh dan Pak Pendi
yang telah banyak direpotkan oleh penulis semasa pekuliahan hingga saat seminar maupun sidang.
Selanjutnya, penulis ingin mengucapkan terima kasih kepada Wawan, Makinun, Rofiq, Hengky,
Gaos, Mizan, Fahmilu, Hasyim, Andi, Wolvy, Ardy, Zai, Diyan, Windy dan Pak Udin, atas
kebersamaan dalam mengarungi masa-masa sebagai mahasiswa di Institut Pertanian Bogor. Juga
terima kasih kepada Dika dan Isa yang telah bersedia menjadi pembahas.
Penulis menyadari bahwa penelitian ini masih jauh dari kesempurnaan. Besar harapan penulis
bahwa apa yang telah dikerjakan dapat memberikan manfaat bagi semua pihak, khususnya untuk para
peneliti yang berminat melanjutkan dan menyempurnakan penelitian ini.

Bogor, Juni 2011

Fakhri Mahathir

RIWAYAT HIDUP
Penulis dilahirkan di Jakarta pada tanggal 4 Agustus 1987 dari ayah bernama M. Salim Bajri dan

ibu bernama Alm. Anita Zahida. Penulis merupakan anak pertama dari empat bersaudara.
Selama masa sekolah menengah, penulis aktif dalam organisasi dan kegiatan ekstrakurikuler, di
antaranya ROHIS dan Taekwondo. Pada tahun 2005 penulis menamatkan sekolah menengah di
Sekolah Menengah Atas Negeri (SMAN) 113 Jakarta. Pada tahun yang sama penulis lulus seleksi
masuk IPB melalui jalur Undangan Seleksi Masuk IPB (USMI). Pada Tahun 2006, penulis diterima di
Departemen Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian
Bogor.
Pada Juli sampai dengan Agustus tahun 2008 penulis melaksanakan kegiatan praktik kerja
lapangan di Lembaga Penerbangan dan Antariksa Nasional (LAPAN).

DAFTAR ISI
Halaman
DAFTAR TABEL .................................................................................................................................. v
DAFTAR GAMBAR ............................................................................................................................. vi
DAFTAR LAMPIRAN.......................................................................................................................... vi
PENDAHULUAN .................................................................................................................................. 1
Latar Belakang .................................................................................................................................. 1
Tujuan ............................................................................................................................................... 1
Ruang Lingkup .................................................................................................................................. 1
TINJAUAN PUSTAKA ......................................................................................................................... 1

Plagiat................................................................................................................................................ 1
ROUGE ............................................................................................................................................. 2
ROUGE-N ......................................................................................................................................... 2
ROUGE-L ......................................................................................................................................... 2
ROUGE-W ........................................................................................................................................ 2
Gaussian (Sebaran Normal) .............................................................................................................. 3
Bayesian Classifier............................................................................................................................ 3
Naïve Bayes Classifier ...................................................................................................................... 4
Gaussian Naïve Bayes Classifier ...................................................................................................... 4
Koefisien Korelasi Pearson ............................................................................................................... 4
Fingerprint Based ............................................................................................................................. 4
String-Matching Based...................................................................................................................... 4
Tree-Matching Based ........................................................................................................................ 4
METODE PENELITIAN ....................................................................................................................... 4
Korpus ............................................................................................................................................... 4
Perhitungan Jarak .............................................................................................................................. 5
Perhitungan Korelasi ......................................................................................................................... 6
Praproses ........................................................................................................................................... 6
Klasifikasi Naïve Bayes ..................................................................................................................... 6
Perhitungan Akurasi .......................................................................................................................... 6

HASIL DAN PEMBAHASAN............................................................................................................... 7
Pemilihan Data Uji dan Data Latih ................................................................................................... 7
Perhitungan Akurasi .......................................................................................................................... 7
Akurasi ROUGE-N ........................................................................................................................... 7
Akurasi ROUGE-L............................................................................................................................ 9
Akurasi ROUGE-W ........................................................................................................................ 11
Akurasi ROUGE-N pada 3-Fold Cross-Validation ........................................................................ 13
Akurasi ROUGE-L pada 3-Fold Cross-Validation ......................................................................... 14
Akurasi ROUGE-W pada 3-Fold Cross-Validation ........................................................................ 15
KESIMPULAN DAN SARAN............................................................................................................. 17
Kesimpulan ..................................................................................................................................... 17
Saran ............................................................................................................................................... 17
DAFTAR PUSTAKA ........................................................................................................................... 17
LAMPIRAN ......................................................................................................................................... 18

iv

DAFTAR TABEL
Halaman
1

2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

Distribusi dokumen .......................................................................................................................... 5
Distribusi dokumen kategorisasi ulang ............................................................................................ 5
Kombinasi hasil yang mungkin ....................................................................................................... 6
Rata-rata korelasi calon data latih empat kategori ........................................................................... 7
Rata-rata korelasi calon data latih dua kategori ............................................................................... 7
Hasil akurasi empat kategori dengan ROUGE-N ............................................................................ 7
Hasil akurasi dua kategori dengan ROUGE-N ................................................................................ 8
Korelasi antara praproses dan akurasi pada data empat kategori ROUGE-N .................................. 8
Korelasi antara teknik clipping dan akurasi pada data empat kategori ROUGE-N ......................... 9
Korelasi antara praproses dan akurasi pada data dua kategori ROUGE-N ...................................... 9
Korelasi antara teknik clipping dan akurasi pada data dua kategori ROUGE-N ............................. 9
Hasil akurasi empat kategori dengan ROUGE-L ............................................................................. 9
Hasil akurasi dua kategori dengan ROUGE-L ............................................................................... 10
Korelasi antara praproses dan akurasi pada data empat kategori ROUGE-L ................................ 10
Korelasi antara teknik clipping dan akurasi pada data empat kategori ROUGE-L ........................ 10
Korelasi antara praproses dan akurasi pada data dua kategori ROUGE-L .................................... 11
Korelasi antara teknik clipping dan akurasi pada data dua kategori ROUGE-L ............................ 11
Hasil akurasi empat kategori dengan ROUGE-W.......................................................................... 11
Hasil akurasi dua kategori dengan ROUGE-W ............................................................................. 11
Korelasi antara praproses dan akurasi pada data empat kategori ROUGE-W ............................... 12
Korelasi antara teknik clipping dan akurasi pada data empat kategori ROUGE-W ...................... 12
Korelasi antara praproses dan akurasi pada data dua kategori ROUGE-W ................................... 12
Korelasi antara teknik clipping dan akurasi pada data dua kategori ROUGE-W .......................... 13
Rata-rata akurasi ROUGE-N untuk dua kategori pada 3-fold cross-validation ............................. 13
Korelasi antara rata-rata akurasi dan praproses ROUGE-N dengan data dua
kategori pada 3-fold cross-validation ............................................................................................ 13
Korelasi antara rata-rata akurasi dan teknik clipping ROUGE-N dengan data
dua kategori pada 3-fold cross-validation...................................................................................... 13
Rata-rata akurasi ROUGE-N untuk empat kategori pada 3-fold cross-validation ......................... 14
Korelasi antara rata-rata akurasi dan praproses ROUGE-N dengan data empat
kategori pada 3-fold cross-validation ............................................................................................ 14
Korelasi antara rata-rata akurasi dan teknik clipping ROUGE-N dengan data
empat kategori pada 3-fold cross-validation.................................................................................. 14
Rata-rata akurasi ROUGE-L untuk dua kategori pada 3-fold cross-validation ............................. 14
Korelasi antara rata-rata akurasi dan praproses ROUGE-L dengan data dua
kategori pada 3-fold cross-validation ............................................................................................ 14
Korelasi antara rata-rata akurasi dan teknik clipping ROUGE-L dengan data
dua kategori pada 3-fold cross-validation...................................................................................... 15
Rata-rata akurasi ROUGE-L untuk empat kategori pada 3-fold cross-validation ......................... 15
Korelasi antara rata-rata akurasi dan praproses ROUGE-L dengan data empat
kategori pada 3-fold cross-validation ............................................................................................ 15
Korelasi antara rata-rata akurasi dan teknik clipping ROUGE-L dengan data
empat kategori pada 3-fold cross-validation.................................................................................. 15
Rata-rata akurasi ROUGE-W untuk dua kategori pada 3-fold cross-validation ............................ 16
Korelasi antara rata-rata akurasi dan praproses ROUGE-W dengan data dua
kategori pada 3-fold cross-validation ............................................................................................ 16
Korelasi antara rata-rata akurasi dan teknik clipping ROUGE-W dengan data
dua kategori pada 3-fold cross-validation...................................................................................... 16
Rata-rata akurasi ROUGE-W untuk empat kategori pada 3-fold cross-validation ........................ 16
Korelasi antara rata-rata akurasi dan praproses ROUGE-W dengan data dua
kategori pada 3-fold cross-validation ............................................................................................ 16
Korelasi antara rata-rata akurasi dan teknik clipping ROUGE-W dengan data
dua kategori pada 3-fold cross-validation...................................................................................... 17

v

DAFTAR GAMBAR
Halaman
1
2
3
4
5

Contoh clipped unigram. .................................................................................................................... 2
Algoritme ROUGE-W. ....................................................................................................................... 3
Kurva normal. ..................................................................................................................................... 3
Algoritme string-matching based. ...................................................................................................... 4
Metode penelitian. .............................................................................................................................. 5

DAFTAR LAMPIRAN
Halaman
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

Data empat kategori ....................................................................................................................... 22
Data dua kategori ........................................................................................................................... 23
Daftar stopword (Ridha 2002) ....................................................................................................... 24
Data 3-fold cross-validation .......................................................................................................... 25
Akurasi ROUGE-N untuk data empat kategori pada data latih 60% data uji 40% ........................ 26
Akurasi ROUGE-N untuk data dua kategori pada data latih 60% data uji 40% ............................ 27
Akurasi ROUGE-L untuk data empat kategori pada data latih 60% data uji 40% ........................ 28
Akurasi ROUGE-L untuk data dua kategori pada data latih 60% data uji 40% ............................ 29
Akurasi ROUGE-W untuk data empat kategori pada data latih 60% data uji 40% ....................... 30
Akurasi ROUGE-W untuk data dua kategori pada data latih 60% data uji 40% ........................... 31
Akurasi ROUGE-N untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 2..................................................................................................................... 32
Akurasi ROUGE-N untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 3..................................................................................................................... 33
Akurasi ROUGE-N untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 2 dan 3..................................................................................................................... 34
Akurasi ROUGE-N untuk data empat kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 2..................................................................................................................... 35
Akurasi ROUGE-N untuk data empat kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 3..................................................................................................................... 36
Akurasi ROUGE-N untuk data empat kategori pada 3-fold cross-validation dengan
data latih fold 2 dan 3..................................................................................................................... 37
Akurasi ROUGE-L untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 2..................................................................................................................... 38
Akurasi ROUGE-L untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 3..................................................................................................................... 39
Akurasi ROUGE-L untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 2 dan 3..................................................................................................................... 40
Akurasi ROUGE-L untuk data empat kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 2..................................................................................................................... 41
Akurasi ROUGE-L untuk data empat kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 3..................................................................................................................... 42
Akurasi ROUGE-L untuk data empat kategori pada 3-fold cross-validation dengan
data latih fold 2 dan 3..................................................................................................................... 43
Akurasi ROUGE-W untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 2..................................................................................................................... 44
Akurasi ROUGE-W untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 1 dan 3..................................................................................................................... 45
Akurasi ROUGE-W untuk data dua kategori pada 3-fold cross-validation dengan
data latih fold 2 dan 3..................................................................................................................... 46

vi

26 Akurasi ROUGE-W untuk data empat kategori pada 3-fold cross-validation
dengan data latih fold 1 dan 2 ........................................................................................................ 47
27 Akurasi ROUGE-W untuk data empat kategori pada 3-fold cross-validation
dengan data latih fold 1 dan 3 ........................................................................................................ 48
28 Akurasi ROUGE-W untuk data empat kategori pada 3-fold cross-validation
dengan data latih fold 2 dan 3 ........................................................................................................ 49

vii

PENDAHULUAN
Latar Belakang
Plagiat merupakan salah satu masalah serius
dalam
dunia
pendidikan.
Semakin
bertambahnya penggunaan dan publikasi data
elektronik pada dekade terakhir memudahkan
dilakukannya plagiat dari material yang sudah
ada (Van Zijl & Hoffmann 2005). Plagiat dalam
bahasa sehari-hari disebut dengan mencontek.
Dalam Kamus Besar Bahasa Indonesia (KBBI)
edisi keempat tahun 2008, plagiat diartikan
sebagai “pengambilan karangan (pendapat dan
sebagainya) orang lain dan disiarkan sebagai
karangan (pendapat dan sebagainya) sendiri.”
Pelaku tindakan plagiat disebut plagiator.
Pendeteksian plagiat dapat dilakukan secara
manual menggunakan bantuan manusia atau
secara semi-otomatis menggunakan sistem
komputer. Saat ini pendeteksian secara manual
merupakan cara yang paling akurat dalam
mendeteksi plagiat. Kelemahan dari cara ini
adalah sangat menghabiskan tenaga, waktu,
serta tidak konsisten karena dipengaruhi faktor
emosional manusia. Oleh karena itu, selama
dekade terakhir para akademisi berusaha
mengembangkan sebuah sistem komputer untuk
mendeteksi plagiat dengan tingkat akurasi yang
mendekati sistem manual.
Dalam perkembangannya, sistem pendeteksi
plagiat melahirkan berbagai macam teknik. Dari
berbagai macam teknik yang telah diterapkan,
sistem pendeteksi plagiat dapat dikelompokkan
menjadi tiga kelompok, yaitu,
fingerprint
based, string-matching based, dan treematching based (Mozgovoy 2006).
Salah satu teknik yang termasuk kelompok
string-matching based adalah Recall-Oriented
Understudy for Gisting Evaluation (ROUGE).
Pada awal kemunculannya, ROUGE digunakan
untuk mengevaluasi hasil rangkuman (Lin
2004). ROUGE juga telah diterapkan pada
sistem pendeteksi plagiat dalam bahasa Inggris
yang penggunaannya dikombinasikan dengan
WordNet (Chen et al. 2010). ROUGE memiliki
empat jenis metode penilain: ROUGE-N,
ROUGE-L, ROUGE-W, dan ROUGE-S.
Keempat metode ROUGE menghasilkan nilai
masing-masing tanpa terkait satu sama lain.
ROUGE menggunakan perhitungan recall,
precision, dan f-measure dengan modifikasi
clipping yang ada pada penelitian Papineni et
al. (2002) untuk setiap metodenya.

masing-masing metode
tingkat kalimat.

diaplikasikan

pada

Tujuan
Tujuan dari penelitian ini adalah:
1. Menerapkan metode penilaian ROUGE-N
(N = 3), ROUGE-L, dan ROUGE-W untuk
mendeteksi plagiat dokumen teks berbahasa
Indonesia.
2. Memperoleh praproses yang baik untuk
masing-masing metode penilaian ROUGE-N
(N = 3), ROUGE-L, dan ROUGE-W ketika
diterapkan pada dokumen teks berbahasa
Indonesia.
Ruang Lingkup
Beberapa lingkup penelitian ini meliputi:
1. Metode yang digunakan adalah ROUGE-N
(N = 3), ROUGE-L, dan ROUGE-W dengan
perhitungan recall, precision, dan f-measure
yang dimodifikasi clipping (Papineni et al.
2002).
2. Praproses yang digunakan pada setiap
metode adalah penghilangan stopword dan
stemming.
3. Bahasa yang digunakan adalah bahasa
Indonesia.
4. Algoritme stemming yang digunakan adalah
algoritme pada penelitian Adriani et al.
(2007) dan algoritme pada penelitian Iqbal
(2010).
5. Dokumen korpus yang digunakan berjenis
plaintext.

TINJAUAN PUSTAKA
Plagiat
Plagiat adalah “pengambilan karangan
(pendapat dan sebagainya) orang lain dan
disiarkan sebagai karangan (pendapat dan
sebagainya) sendiri” (KBBI 2008). Pelaku
tindakan plagiat disebut plagiator. Menurut
Jayapa (2007), pada umumnya ada beberapa
tipe plagiat, antara lain:
• Copy-paste. Menyalin semua yang tertulis
pada sumber.
• Paraphrasing. Mengubah letak kalimat,
mengubah tata bahasa, mengganti dengan
sinonim kata.

Penelitian ini mencoba menggunakan
metode penilaian ROUGE-N (N = 3 atau
trigram), ROUGE-L, dan ROUGE-W yang
1

• Translated. Merupakan terjemahan dari
sumber lain tanpa mencantumkan referensi
sumber.
• Artistic. Mengubah media yang digunakan,
misalnya teks, gambar, dan video.
• Idea. Menggunakan ide unik orang lain.

Contoh clipped dapat dilihat pada Gambar 1.
Jika β > 1 maka pengaruh recall dalam
perhitungan lebih besar, jika β < 1 maka
pengaruh precision dalam perhitungan lebih
besar, dan jika β = 1 maka pengaruh recall dan
precision sama besar. Untuk menghitung jarak
antar dokumen digunakan rumus:
∑

• Code. Menggunakan kode program orang
lain tanpa izin atau mencantumkan sumber.
ROUGE
ROUGE adalah sebuah teknik untuk
mengevaluasi rangkuman yang dibuat oleh
mesin. ROUGE ditemukan oleh Chin-Yew Lin
pada tahun 2004. Di dalamnya terdapat empat
jenis metode penilaian: ROUGE-N, ROUGE-L,
ROUGE-W, dan ROUGE-S. Tiga dari empat
penilaian tersebut digunakan pada Document
Understanding Conference (DUC) 2004,
konferensi evaluasi rangkuman berskala besar
yang disponsiri National Institute of Standards
and Technology (NIST) (Lin 2004).
ROUGE-N
Dikatakan oleh Lin (2004), ROUGE-N
adalah recall n-gram antara kandidat
rangkuman dan referensi rangkuman dengan
gram terkecil adalah sebuah kata. Rumus recall
pada temu kembali informasi adalah:
relevan

ditemukembalikan
relevan

Pada ROUGE-N, yang bertindak sebagai
{relevan} adalah n-gram pada kalimat referensi
rangkuman, sedangkan yang bertindak sebagai
{ditemukembalikan} adalah n-gram pada
kalimat kandidat rangkuman. Pada ROUGE-N,
digunakan teknik clipping yang ada pada
penelitian Papineni et al. (2002) untuk
menghitung {relevan} ∩ {ditemukembalikan}.
ROUGE-N dilakukan pada tingkat kalimat.
Bila Ai adalah kalimat pada referensi rangkuman
dan Bj kalimat pada kandidat rangkuman, maka
jarak antar kalimat menggunakan perhitungan
recall, precision, dan f-measure pada ROUGEN (N = 3) adalah:
Clipped trigram
Count trigram
Clipped trigram
Count trigram
1

maks
jumlah kalimat

Kalimat Kandidat:
yang yang yang yang yang
Kalimat Referensi:
orang yang makan nasi yang basi
Clipped Precision: 2/5
Clipped Recall: 2/6
Gambar 1 Contoh clipped unigram.
ROUGE-L
ROUGE-L adalah salah satu metode
penilaian pada ROUGE yang menggunakan
Longest Common Subsequence (LCS) pada
tingkat kalimat. ROUGE-L memandang kalimat
dalam rangkuman sebagai suatu deretan kata.
Jika X dan Y adalah sebuah deretan yang
memiliki panjang masing-masing m dan n,
maka LCS(X,Y) adalah panjang maksimal dari
sub-deretean yang ada pada X maupun Y.
Perhitungannya sebagai berikut (Lin 2004):
"#$ %, '
(
"#$ %, '
)

!
!

1

!

!

!

!

!

Pada DUC, ditetapkan nilai β yang besar ( >=
8). Untuk menghitung jarak antar dokumen
digunakan rumus:
∑

maks
jumlah kalimat

"

ROUGE-W
ROUGE-W merupakan perluasan dari
sistem penilaian ROUGE-L. ROUGE-W
menambahkan pembobotan setiap urutan yang
berdempetan. Sebagai contoh, diberikan tiga
buah deretan X, Y1, dan Y2:
X: [saya suka makan nasi goreng kambing]
Y1: [saya suka makan nasi uduk tanah abang]
2

Y2: [saya suka minum susu dan makan nasi]
Berdasarkan contoh di atas, nilai LCS(X,Y1)
= LCS(X,Y2). Bagaimanapun, Y1 terlihat lebih
baik dibandingkan dengan Y2, karena memiliki
kesamaan urutan yang berdempetan. ROUGEW menyimpan panjang kesamaan urutan yang
berdempetan untuk dimasukkan dalam sistem
penilaiannya (Lin 2004).
Fungsi pembobotan digunakan saat terdapat
LCS yang berdempetan, yaitu dengan cara
memasukkan panjang kesamaan urutan yang
berdempetan
ke
dalam
suatu
fungsi
pembobotan.
Kemudian
seluruh
hasil
pembobotan dijumlahkan, ini yang menjadi
nilai Weighted Longest Common Subsequence
(WLCS) pada tingkat kalimat. Algoritme
ROUGE-W dapat dilihat pada Gambar 2.
Perhitungan jarak pada tingkat kalimat
menggunakan metode ROUGE-W adalah:
* !

+ ,- .

* !

+

,-

/"#$ ,
+ panjang kata

/"#$ ,
.
+ panjang kata
1

* !

Untuk menghitung
digunakan rumus:
∑

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

* !

jarak

0
0

* ! * !

Gaussian (Sebaran Normal)
Sebaran normal adalah sebaran peluang
kontinu yang paling penting dalam bidang
statistika. Grafiknya, yang disebut kurva
normal, adalah kurva yang berbentuk genta
seperti pada Gambar 3 (Walpole 1982).
Suatu peubah acak kontinu X yang memilki
sebaran berbentuk genta seperti dalam Gambar
3 disebut peubah acak normal. Persamaan bagi
sebaran peluang peubah acak normal ini
bergantung pada dua parameter µ dan σ, yaitu
nilai tengah dan simpangan bakunya (Walpole
1982).

Gambar 3 Kurva normal.
Bila X adalah suatu peubah acak normal
dengan nilai tengah µ dan ragam σ2, maka
persamaan kurva normalnya adalah (Walpole
1982):
) 1|3, 4

* !

antar

maks
jumlah kalimat

dokumen

/

FOR(h=1;h≤m;h++)
FOR(i=h;i≤m;i++)
FOR(j=batas;j≤n;j++)
IF(xi=yj)
k++;
batas=j+1;
break;
ELSE
weight=weight+f(k);
k=0;
ENDFOR
IF(k>0)
weight=weight+f(k);
k=0;
IF(weight>max)
max=weight;
ENDFOR
max=0;
batas=0;
Gambar 2 Algoritme ROUGE-W.

1

√274

9 :
@
?

8 , :;

Dengan π = 3.14159… dan e = 2.71828…
Bayesian Classifier
Bayesian classifier merupakan sebuah
pendekatan untuk memodelkan peluang
hubungan antara himpunan atribut dan kelas
variabel tersebut. Implementasi dari Bayesian
classifier, yaitu naïve Bayes classifier dan
Bayesian belief network. (Tan et al. 2006).
Peluang bersama dan bersyarat untuk X dan
Y dapat dilihat pada formula berikut (Tan et al.
2006):
%|'

'|% A

%

%|' A

'

Dari formula itu, dapat diperoleh teorema
Bayes:
'|%

%|' A
%

'

Variabel
X
pada
teorema
Bayes
menunjukkan serangkaian atribut, sedangkan
variabel Y menunujukkan variabel kelas. P(Y|X)
merupakan peluang bersyarat yang juga dikenal
sebagai posterior probability terhadap Y,
sedangkan P(Y) merupakan prior probability
(Tan et al. 2006).

3

Naïve Bayes Classifier
Naïve Bayes classifier menduga kelas
peluang bersyarat dengan mengasumsikan
atribut secara kondisi bebas, jika diberi label
kelas y (Tan et al. 2006). Naïve Bayes adalah
salah satu algoritme pembelajaran induktif yang
paling efesien dan efektif dalam bidang
machine learning dan data mining. Tujuan dari
algoritme pembelajaran adalah membangun
sebuah
pengklasifikasi
(classifier)
menggunakan satu set contoh data latih yang
memiliki atribut kelas (Zhang 2004).
Diasumsikan E adalah sebuah contoh data
yang memiliki nilai atribut (x1,x2,,…,xn), dengan
xi adalah nilai dari atribut Xi , sedangkan C
adalah variabel kelas dan c adalah nilai dari
variabel C. Menurut aturan Bayes, peluang
contoh data E = (x1,x2,,…,xn) sebagai kelas c
adalah:
B

B C|

|C B C
B

Naïve Bayes classifier mengasumsikan semua
atribut adalah bebas sehingga
B

|C

E

B 1- , 1 , , … , 1E |C

F B 1 |C
G-

B C ∏EG- B 1 |C
B

B C|

Dalam proses pengklasifikasian, nilai p(E)
adalah sama untuk sebuah data E. Naïve Bayes
classifier dapat didefinisikan sebagai berikut:
E

JKL(J1 B C F B 1 |C

#EI

K

-

√ NO

81B P

- Q,R

;

O

@ S.

Koefisien Korelasi Pearson
Korelasi Pearson mengukur hubungan antara
dua variabel X dan Y, yang memberikan nilai
antara 1 dan -1. Jika korelasi mendekati 1
berarti semakin baik hubungan antara dua
variabel, dan sebaliknya. Rumus korelasi
Pearson adalah (Walpole 1982):

%T

'T

U∑EG- '

'T

Ide utama pada fingerprint based adalah
membuat fingerprint untuk semua koleksi
dokumen. Pada sistem pendeteksi plagiat
fingerprint
based,
setiap
fingerprint
mengandung
atribut
numerikal
yang
merepresentasikan struktur dari dokumen. Jika
fingerprint antara dua dokumen sangat dekat,
maka dapat dicurigai salah satunya merupakan
hasil plagiat (Mozgovoy 2006).
String-Matching Based
Pada dasarnya, string-matching based
bekerja menurut algoritme pada Gambar 4.
Metode string-matching based membandingkan
dokumen dengan memandangnya sebagai
strings (Mozgovoy 2006).
1 FOR EACH collection file F
2 FOR EACH collection file G, F ≠ G
3
Hitung kesamaan antara F dan G

Gambar 4 Algoritme string-matching based.
Tree-Matching Based
Metode tree-matching based memandang
dokumen sebagai suatu struktur. Oleh karena
itu, tree-matching based lebih cocok dipakai
untuk mendeteksi plagiat pada source program
komputer karena memiliki aturan struktur yang
sama (Mozgovoy 2006). Untuk diterapkan pada
bahasa alami, dokumen yang dibandingkan
harus memiliki aturan struktur yang sama.

METODE PENELITIAN

Gaussian Naïve Bayes Classifier

) 1|3, 4

U∑EG- %

%T '

Fingerprint Based

G-

Gaussian naïve Bayes classifier adalah
naïve Bayes classifier yang menggunakan
sebaran
normal
(Gaussian)
untuk
memperkirakan B 1 |C jika nilai atribut 1
adalah kontinu (Bouckaert 2004). Untuk setiap
kelas c dan 1 adalah atribut data, B 1 |C
) 1 |3M , 4M dengan

∑EG- %

Metodologi yang digunakan pada penelitian
ini terdiri atas beberapa tahap. Tahapan-tahapan
tersebut dapat dilihat pada Gambar 5.
Korpus
Korpus pada penelitian ini merupakan
korpus teks bahasa Inggris berjenis plaintext
hasil penelitian Clough dan Stevenson (2009)
yang diterjemahkan ke dalam Bahasa Indonesia.
Korpus tersebut dibuat khusus untuk
pengembangan dan evaluasi sistem pendeteksi
plagiat dokumen teks. Korpus berjumlah 100
dokumen yang terdiri dari 5 dokumen asli dan
95 dokumen yang memiliki tingkatan plagiat.
Masing-masing dokumen asli memiliki topik
yang berbeda. Korpus penelitian Clough dan
Stevenson (2009) terbagi menjadi empat
tingkatan plagiat dokumen, yaitu:
4

sinonimnya, mengubah struktur kalimat
serta mengubah urutan kalimat.
3. Heavy revision. Isi diambil dari teks aslinya
dengan mengubah kata dan frase dengan
sinonimnya, mengubah struktur kalimat,
mengubah urutan kalimat, memecah satu
kalimat menjadi dua atau lebih kalimat serta
menggabungkan dua atau lebih kalimat
menjadi satu kalimat.
4. Non-plagiarised. Isi diambil dari bahan
kuliah, buku teks, dan ditulis menggunakan
tata bahasa yang berbeda.
Jika dihubungkan antara tingkatan plagiat
korpus dan definisi tipe plagiat pada Jayapa
2008, near copy dapat dikatakan sama dengan
tipe plagiat copy-paste sedangkan light revision
dan heavy revision merupakan perluasan dari
paraphrasing. Distribusi asli dokumen berdasar
tingkatan plagiat dan topiknya dapat dilihat
pada Tabel 1 dan Lampiran 1.
Tabel 1 Distribusi dokumen
Tingkat
Plagiat

Topik
A

B

C

D

E

Near copy
Light revision
Heavy revision
Non-plagiarised
Total

4
3
3
9
19

3
3
4
9
19

3
4
5
7
19

4
5
4
6
19

5
4
3
7
19

Total
19
19
19
38
95

Pada penelitian ini juga dilakukan
pengategorian ulang menjadi dua kategori,
plagiarised dan non-plagiarised. Kategori
plagiarised merupakan penggabungan dari
kategori near copy, light revision, dan heavy
revision.
Distribusi
dokumen
setelah
dikategorikan ulang dapat dilihat pada Tabel 2
dan Lampiran 2.
Tabel 2 Distribusi dokumen kategorisasi ulang
Tingkat
Plagiat
Plagiarised
Non-plagiarised
Total

Gambar 5 Metode penelitian.
1. Near copy. Seluruh isi disalin dari teks
aslinya, tetapi tidak semua isi pada teks asli
disalin.
2. Light revision. Isi diambil dari teks aslinya
dengan mengubah kata dan frase dengan

Topik
A
10
9
19

B
10
9
19

C
12
7
19

D
13
6
19

E
12
7
19

Total
57
38
95

Untuk berikutnya, 95 dokumen yang
memiliki tingkatan plagiat tersebut akan disebut
sebagai dokumen kandidat.
Perhitungan Jarak
Pada tahap ini, seluruh dokumen kandidat
dihitung jaraknya dengan dokumen asli sesuai
topiknya masing-masing. Pada tahap ini
digunakan tiga metode yang ada pada ROUGE,
yaitu ROUGE-N, ROUGE-L, dan ROUGE-W.
5

Perhitungan yang digunakan untuk ketiga
metode tersebut adalah recall, precision, dan fmeasure dengan modifikasi clipping yang ada
pada penelitian Papineni et al. (2002). Untuk
berikutnya recall, precision, dan f-measure
yang dimodifikasi clipping hanya disebut recall,
precision, dan f-measure.
Pada ROUGE-N, n-gram yang digunakan
adalah trigram (N = 3) dan pada ROUGE-W
digunakan fungsi pembobotan f(x2). Nilai β
yang digunakan untuk masing-masing penilaian
pada penelitian ini adalah 1.

pada penelitian Ridha (2002) yang dapat
dilihat pada Lampiran 3.
Dengan mengombinasi praproses dengan
perhitungan clipping, dapat dilihat pada Tabel 3
ada enam kombinasi hasil yang mungkin
dilakukan dalam perhitungan jarak. Tiap
kombinasi terdiri dari perhitungan recall,
precision dan f-measure. Karena terdapat tiga
metode yang digunakan, maka total terdapat 6 x
3 = 18 kombinasi hasil.
Tabel 3 Kombinasi hasil yang mungkin

Perhitungan Korelasi

Praproses

No.

Stem

Dengan menggunakan korelasi Pearson
dihitung nilai korelasi antara jarak dokumen
terhadap dokumen asli dan tingkatan plagiat
dokumen untuk masing-masing topik. Nilai
tingkatan plagiat untuk empat kategori adalah
near copy = 4, light revision = 3, heavy
revision = 2, dan non-plagiarised = 1. Untuk
dua kategori, nilai tingkatan plagiatnya adalah
plagiarised = 2 dan non-plagiarised = 1.
Lalu dari lima topik yang ada pada korpus,
baik yang empat kategori maupun yang dua
kategori, dipilih tiga kombinasi topik yang
memiliki nilai rata-rata korelasi tertinggi untuk
kemudian dijadikan data latih (60% data) dan
dua topik sisanya dijadikan data uji (40% data).
Praproses
Yang dimaksud dengan praproses adalah
perlakuan
terhadap
korpus
sebelum
dilakukannya proses penilaian. Praproses yang
digunakan dalam penelitian ini adalah sebagai
berikut:
a. Stemming
Mengubah setiap kata pada dokumen
menjadi kata dasarnya. Algoritme stemming
yang digunakan adalah:
• Algoritme stemming pada penelitian
Adriani et al. (2007).
• Algoritme stemming pada penelitian
Iqbal (2010).

Klasifikasi Naïve Bayes
Pada tahap ini digunakan Gaussian naïve
Bayes classifier. Ide penggunaan naïve Bayes
classifier didapat dari penelitian Chong et al.
pada tahun 2010. Saat pelatihan, data latih
dihitung nilai rata-rata dan standar deviasinya
untuk tiap tingkatan plagiat. Kemudian saat
pengujian, jarak dokumen asli dengan dokumen
yang memiliki tingkatan plagiat untuk masingmasing topik adalah satu-satunya atribut data
dan merupakan atribut kontinu.
Perhitungan Akurasi
Tingkat akurasi dalam mengklasifikasi data
uji dihitung untuk tiap tingkatan plagiat dan
keseluruhan data uji. Tingkat akurasi tiap
tingkatan plagiat diperoleh dengan perhitungan:
JVWKJXY

∑

data uji benar diklasifikasi
pada tingkatan plagiat
x 100%
∑ data uji pada tingkatan
plagiat

Dan tingkat akurasi keseluruhan diperoleh
dengan perhitungan:

b. Penghilangan Stopword
Seringkali, kata yang paling sering
muncul pada dokumen bukanlah kata yang
mewakili isi dokumen tersebut dan tidak
dapat digunakan dalam proses temu kembali
informasi. Kata-kata seperti ini disebut
dengan stopword, dan pada umumnya tidak
ikut dimasukkan ke dalam indeks (BaezaYates & Ribeiro-Neto 1999). Daftar
stopword yang digunakan adalah stopword

Stop

1.
x
x
2. √(A)
x
3.
√(I)
x
4.
x
√
5. √(A)
√
6.
√(I)
√
(A) adalah stemmer Adriani, (I) adalah
stemmer Iqbal

akurasi

∑

data uji
benar diklasifikasi
A 100%
∑ data uji

Tingkat akurasi juga dihitung menggunakan
3-fold cross-validation. Pembagian fold
dilakukan dengan distribusi tiap tingkatan
plagiat dan topik yang hampir sama. Untuk
pembagiannya dapat dilihat pada Lampiran 4.

6

Untuk mencari seberapa besar pengaruh tiap
praproses dan teknik clipping, korelasinya
dengan tingkat akurasi dapat dihitung dengan
asumsi:
• Penggunaan stopword bernilai 1, jika tidak
bernilai 0.

Untuk data empat kategori, nilai rata-rata
korelasi terbesar ada pada komposisi task a, task
d, dan task e, yaitu 0.861 (lihat Tabel 4). Pada
data dua kategori, nilai rata-rata korelasi
terbesar ada pada komposisi task a, task b, dan
task e, yaitu 0.810 (lihat Tabel 5).

• Penggunaan stemming bernilai 1, jika tidak
bernilai 0.

Perhitungan Akurasi

• Penggunaan stemming Iqbal (2010) bernilai
1 dan stemming Adriani (2007) bernilai 0.

Hasil akurasi untuk data empat kategori,
nilai akurasi tertinggi adalah sebesar 78.947%,
sedangkan nilai akurasi terendah adalah sebesar
68.421% (lihat Tabel 6). Nilai akurasi tertinggi
terjadi pada semua kombinasi yang tidak
menyertakan penghilangan stopword dalam
praprosesnya. Nilai akurasi terendah terjadi saat
kombinasi terdiri atas penghilangan stopword,
tanpa stemming, dan menggunakan perhitungan
f-measure. Untuk detilnya dapat dilihat pada
Lampiran 5.

• Penggunaan recall bernilai 1, jika tidak
bernilai 0.
• Penggunaan precision bernilai 1, jika tidak
bernilai 0.
• Penggunaan f-measure bernilai 1, jika tidak
bernilai 0.

Akurasi ROUGE-N

Tabel 6 Hasil akurasi empat kategori dengan
ROUGE-N

HASIL DAN PEMBAHASAN
Pemilihan Data Uji dan Data Latih
Untuk setiap kombinasi topik calon data
latih, dihitung rata-rata korelasi perhitungan
recall, precision, dan f-measure-nya.
Tabel 4 Rata-rata korelasi calon data latih
empat kategori
Kombinasi Topik Calon Data
Latih
Task a, Task b, Task c
Task a, Task b, Task d
Task a, Task b, Task e
Task a, Task c, Task d
Task a, Task c, Task e
Task a, Task d, Task e
Task b, Task c, Task d
Task b, Task c, Task e
Task b, Task d, Task e
Task c, Task d, Task e

Rata-rata
Korelasi
0.748
0.790
0.834
0.784
0.831
0.861
0.717
0.772
0.809
0.803

Tabel 5 Rata-rata korelasi calon data latih dua
kategori
Kombinasi Topik Calon Data
Latih
Task a, Task b, Task c
Task a, Task b, Task d
Task a, Task b, Task e
Task a, Task c, Task d
Task a, Task c, Task e
Task a, Task d, Task e
Task b, Task c, Task d
Task b, Task c, Task e
Task b, Task d, Task e
Task c, Task d, Task e

Rata-rata
Korelasi
0.737
0.764
0.810
0.744
0.792
0.808
0.712
0.762
0.782
0.763

No.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

Praproses

Clipping

Stem

Stop

R

P

F

x
x
x
√(A)
√(A)
√(A)
√(I)
√(I)
√(I)
x
x
x
√(A)
√(A)
√(A)
√(I)
√(I)
√(I)

x
x
x
x
x
x
x
x
x
√
√
√
√
√
√
√
√
√

√
x
x
√
x
x
√
x
x
√
x
x
√
x
x
√
x
x

x
√
x
x
√
x
x
√
x
x
√
x
x
√
x
x
√
x

x
x
√
x
x
√
x
x
√
x
x
√
x
x
√
x
x
√

Akurasi (%)
78.947
78.947
78.947
78.947
78.947
78.947
78.947
78.947
78.947
71.053
71.053
68.421
76.316
73.684
71.053
76.316
73.684
71.053

Hal yang sama juga terjadi pada hasil
akurasi untuk data dua kategori, nilai akurasi
tertinggi terjadi pada semua kombinasi yang
tidak menyertakan penghilangan stopword
dalam praprosesnya dan nilai akurasi terendah
terjadi saat kombinasi terdiri atas penghilangan
stopword, tanpa stemming, dan menggunakan
perhitungan f-measure. Nilai akurasi tertinggi
untuk data dua kategori adalah sebesar
92.105%, sedangkan nilai akurasi terendah
adalah sebesar 84.211% (lihat Tabel 7). Untuk
detilnya dapat dilihat pada Lampiran 6.

7

Ketika dihitung rata-rata akurasinya, untuk
data empat kategori, kombinasi yang
praprosesnya
menyertakan
penghilangan
stopword memiliki rata-rata akurasi 72.515%,
sedangkan praproses yang tanpa menyertakan
penghilangan stopword memiliki rata-rata
akurasi 78.947%. Terlihat bahwa rata-rata
akurasi kombinasi yang praprosesnya tanpa
menyertakan penghilangan stopword lebih besar
dibandingkan
dengan
kombinasi
yang
praprosesnya
menyertakan
penghilangan
stopword. Hal ini juga terjadi pada data dua
kategori, rata-rata akurasi kombinasi yang
praprosesnya tanpa menyertakan penghilangan
stopword (92.105%) lebih besar dari praproses
yang menyertakan penghilangan stopword
(88.304%).
Tabel 7

No.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

Hasil akurasi dua kategori dengan
ROUGE-N
Praproses

Clipping

Stem

Stop

R

P

F

x
x
x
√(A)
√(A)
√(A)
√(I)
√(I)
√(I)
x
x
x
√(A)
√(A)
√(A)
√(I)
√(I)
√(I)

x
x
x
x
x
x
x
x
x
√
√
√
√
√
√
√
√
√

√
x
x
√
x
x
√
x
x
√
x
x
√
x
x
√
x
x

x
√
x
x
√
x
x
√
x
x
√
x
x
√
x
x
√
x

x
x
√
x
x
√
x
x
√
x
x
√
x
x
√
x
x
√

Akurasi (%)
92.105
92.105
92.105
92.105
92.105
92.105
92.105
92.105
92.105
86.842
86.842
84.211
89.474
89.474
89.474
89.474
89.474
89.474

Hasil akurasi data empat kategori,
kombinasi yang praprosesnya menggunakan
stemming memiliki rata-rata akurasi 76.316%,
sedangkan praproses yang tanpa menggunakan
stemming memiliki rata-rata akurasi 74.561%.
Terlihat rata-rata akurasi kombinasi yang
praprosesnya menggunakan stemming lebih
besar dibandingkan dengan kombinasi yang
praprosesnya tanpa menggunakan stemming.
Hal ini juga terjadi pada data dua kategori, ratarata akurasi kombinasi yang praprosesnya
menggunakan stemming (90.789%) lebih besar
dibandingkan
dengan
kombinasi
yang
praprosesnya tanpa menggunakan stemming
(89.035%).

Hasil akurasi data empat kategori,
kombinasi yang praprosesnya menggunakan
stemming Iqbal (2010) memiliki rata-rata
akurasi 73.392%, sedangkan praproses yang
menggunakan stemming Adriani (2007)
memiliki rata-rata akurasi 73.489%. Terlihat
rata-rata akurasi stemming Adriani (2007)
sedikit lebih besar dibandingkan dengan
stemming Iqbal (2010). Namun pada data dua
kategori, rata-rata akurasinya sama, yaitu
sebesar 90.789%.
Nilai rata-rata akurasi yang menggunakan
perhitungan recall, precision, dan f-measure
pada data empat kategori adalah berturut-turut
73.587%, 73.567%, dan 74.196% sedangkan
pada data dua kategori adalah
90.351%,
89.912%, dan 89.912%. Terlihat pada data
empat kategori, perhitungan f-measure memiliki
tingkat akurasi tertinggi. Namun pada data dua
kategori, perhitungan recall yang memiliki
akurasi tertinggi.
Jika acuan dalam memilih kombinasi yang
optimal adalah rata-rata nilai akurasi untuk tiap
praproses dan jenis perhitungan, kombinasi
untuk mencapai akurasi optimal ROUGE-N
pada data empat kategori terdiri atas tanpa
penghilangan stopword, dengan stemming
Adriani (2007), dan dengan perhitungan fmeasure. Untuk data dua kategori, kombinasi
yang optimal terdiri atas tanpa penghilangan
stopword, menggunakan stemming Adriani
(2007), dan perhitungan recall. Secara
keseluruhan, baik untuk data empat kategori
maupun dua kategori, ROUGE-N optimal
ketika kombinasi praproses terdiri atas tanpa
penghilangan stopword dan menggunakan
stemming Adriani (2007).
Korelasi antara praproses dan akurasi untuk
data empat kategori dapat dilihat pada Tabel 8.
Terlihat
bahwa
penghilangan
stopword
membawa pengaruh negatif dengan nilai
korelasi -87.5%, sedangkan penggunaan
stemming membawa pengaruh positif dengan
nilai korelasi 22.5%. Jenis stemming yang
digunakan tidak memberikan pengaruh karena
nilai korelasinya yang nol.
Tabel 8 Korelasi antara praproses dan akurasi
pada data empat kategori ROUGE-N
Praproses
Stemming
Stopword
Jenis Stemming

Korelasi
0.225
-0.875
0

Lambang
(+)
(-)
(=)

Korelasi antara teknik clipping dan akurasi
untuk data empat kategori dapat dilihat pada
8

Tabel 9. Terlihat bahwa f-measure membawa
pengaruh negatif dengan nilai korelasi -22.5%.
Sebaliknya, recall