2.2.1.4. Text Frequency dan Pembobotan
Semakin banyak kata yang mirip atau sama antara dua dokumen maka semakin dekat kedua dokumen tersebut dan akan memiliki bobot
atau nilai yang lebih tinggi Manning,2008. Pemberian bobot atau nilai akan menggunakan teknik TFIDFterm frequency inverse document
frequency. TF adalah jumlah kemunculan suatu kata dalam sebuah dokumen, sedangkan IDF adalah inverse dari banyanknya dokumen
dimana suatu term tersebut muncul.
Rumus Pembobotan Saton1983:
Wt,d = tft,d idft = tft,d logNnt 2.1
Keterangan: a.
Wt,d = bobot dari termkata t dalam dokumen d. b.
Tft,d = frekuensi kemunculan termkata t dalam dokumen d. c.
Idft = Inverse document frequency dari kata t. d.
N = jumlah seluruh dokumen. e.
Nt = jumlah dari dokumen training yang mengandung kata t.
2.3. Klasifikasi Teks
Klasifikasi merupakan proses untuk menemukan model atau fungsi yang menjelaskan atau membedakan kelas
– kelas data fungsi tersebut digunakan untuk memperkirakan kelas dari suatu objek yang
labelnya tidak diketahui. Proses klasifikasi ini terbagi menjadi dua tahapan, yaitu tahap test dan tahap uji. Pada tahap test, sebagian data
yang telah diketahui kelas datanya diumpankan untuk membentuk model prediksi Han dan Kamber, 2006.
2.3.1. K-Nearest Neighbour
Metode KNN adalah salah satu metode yang digunakan dalam sistem klasifikasi yang menggunakan pendekatan Machine Learning.
Machine Learning merupakan sebuah proses dalam membangun sistem klasifikasi melakui pembelajaran dari sejumlah contoh yang sudah
diklasifikasikan sebelumnya Feldman Sanger, 2007. Salah satu masalah yang dihadapi KNN adalah pemilihan nilai K
yang tepat. Misalnya, diambil K bernilai 13, kelas 0 dimiliki oleh 7 tetangga yang jauh, sedangkan kelas 1 dimiliki oleh 6 tetangga yang
lebih dekat. Hal ini mengakibatkan data uji tersebut akan terdistorsi sehingga ikut tergabung dengan kelas 0. Hal ini karena setiap tetangga
tersebut memiliki bobot yang sama terhadap data uji, sedangkan nilai K yang terlalu kecil bisa menyebabkan algoritma terlalu sensitif
terhadap noise. Nilai K yang bagus dapat dipilih berdasarkan optimisasi parameter, misalkan dengan cross validation Eko Prasetyo, 2012.
Berikut ini adalah beberapa karakteristik kelebihan dan kekurangan metode KNN menurut Eko Prasetyo2012.
1. KNN merupakan algoritma yang menggunakan seluruh data latih
untuk melakukan proses klasifikasi complete storage. Hal ini mengakibatkan proses prediksi yang sangat lama untuk data dalam
jumlah yang sangat besar. Pendekatan lain adalah dengan menggunakan mean data dari setiap kelas, kemudian menghitung
jarak terdekat data uji ke mean data setiap kelas tersebut. Hal ini memberi keuntungan kerja yang lebih cepat, tetapi hasilnya kurang
memuaskan karena model hanya membentuk hyperplane tepat di tengah-tengah di antara 2 kelas yang memisahkan 2 kelas untuk
kasus 2 kelas. Semakin banyak data latih, semakin halus hyperplane yang dibuat. Ada relasi pertukaran trade- off relation antara jumlah
data latih pada biaya komputasi dengan kualitas batas keputusan decision boundary yang dihasilkan.
2. Algoritma KNN tidak membedakan setiap fitur dengan suatu bobot
seperti pada Artificial Neural Network ANN yang berusaha menekan fitur yang tidak mempunyai kontribusi terhadap
klasifikasi menjadi 0 pada bagian bobot. KNN tidak memiliki bobot untuk masing- masing fitur.
3. Karena KNN masuk kategori lazy learning yang menyimpan
sebagian atau semua data dan hampir tidak ada proses pelatihan, KNN sangat cepat dalam proses pelatihan karena memang tidak
ada, tetapi sangat lambat dalam proses prediksi. 4.
Hal yang rumit adalah menentukan nilai K yang paling sesuai. 5.
Karena KNN pada prinsipnya memilih tetangga terdekat, parameter jarak juga penting untuk dipertimbangkan sesuai dengan kasus
datanya. Euclidean sangat cocok untuk menggunakan jarak terdekat lurus antara dua data, tetapi Manhattan sangat teguh
robust untuk mendeteksi outlier dalam data. PLAGIAT MERUPAKAN TINDAKAN TIDAK TERPUJI
2.3.2. Langkah Algoritma KNN
1. Tentukan parameter k = jumlah dokumen tetangga.
2. Hitung kemiripan antara dokumen baru dan dokumen pelatihan
dengan menggunakan rumus cosine similarity Manning, Raghavan, dan Schutze, 2008:
Sim � , � =
�
. ‖
�
‖ ‖ ‖
2.2
2.3
Keterangan: -
� : dokumen j dokumen pelatihan
- �
: query dokumen dokumen test -
∑ �
, �
=
:
jumlah bobot kata i pada dokumen j -
∑ �
, �
=
:
jumlah bobot kata i pada dokumen q test
3. Urutkan nilai kesamaan dan tentukan tetangga terdekat berdasarkan
jarak terkecil, banyak tetangga terdekat diambil dari parameter k. 4.
Gunakan label mayoritas dari kategori dokumen tetangga sebagai
nilai prediksi dokumen test.
�
,
�
, �
=
ඩ �
, �
=
ඩ �
, �
=
Sim
� , �
=
2.3.3. Perhitungan Akurasi
Perhitungan akurasi dilakukan dengan menggunakan metode cross-validation. Pada metode cross-validation, data dibagi menjadi k
subset atau fold yang saling bebas secara acak, yaitu S1, S2, ...., Sk, dengan ukuran setiap subset sama. Pelatihan dan pengujian dilakukan
sebanyak k kali. Pada iterasi ke-i, subse S1 diperlukan sebagai data pengujian, dan subset lainnya sebagai data pelatihan. Tingkat akurasi
dihitung dengan membagi jumlah keseluruhan klasifikasi yang benar dengan jumlah semua instance pada data awal Han Kamber 2006.
Jika menggunakan 3 fold, maka akan dibagi menjadi 3 tahap seperti dibawah ini:
Tahap I 1.
fold 1 sebagai data uji. 2.
fold 2 sebagai data pelatihan. 3.
fold 3 sebagai data pelatihan. Tahap II
1. fold 2 sebagai data uji.
2. fold 1 sebagai data pelatihan.
3. fold 3 sebagai data pelatihan.
Tahap III 1.
fold 3 sebagai data uji. 2.
fold 1 sebagai data pelatihan. 3.
fold 2 sebagai data pelatihan.
Setelah dilakukan cross-validation maka dilanjutkan dengan precision untuk menentukan akurasi.
Precision =
�ℎ � � �� � �
�ℎ � � �
x 100 2.4
21
BAB III METODOLOGI PENELITIAN
3.1. Gambaran Umum Sistem
Kategori