4.2. Implementasi
Preprocessing
Dokumen 4.2.1. Implementasi Pembacaan Isi Dokumen
Pada langkah pembacaan file dokumen ini sistem akan membaca isi dokumen. Dengan parameter
method path
merupakan lokasi dimana folder lokasi jawaban disimpan dan fileName merupakan nama
dokumen. berikut ini merupakan
list code
openFile 4.2.1. public static String openFileString path, String fileName throws
FileNotFoundException, IOException { String text = , teks = ;
FileReader fr = new FileReaderpath + + fileName; BufferedReader br = new BufferedReaderfr;
while teks = br.readLine = null { text = text + teks + \n;
} br.close;
fr.close; return text;
}
List Code
4.2.1 openFile
4.2.2. Implementasi Tokenisasi, Menghapus Tanda Baca,
Case Folding
Pada langkah ini sistem akan menghapus tanda baca filterTandaBaca, melakukan tokenisasi tokenisasi, dan
case folding
caseFolding public static String filterTandaBacaString doc throws
FileNotFoundException, IOException { String cek = ;
String tandaBaca = openFilesrcaplikasi, tanda baca.txt; for int i = 0; i tandaBaca.length; i++ {
cek = tandaBaca.substringi, i + 1; doc = replacedoc, cek, ;
doc = replacedoc, , ;
doc = replacedoc, , ; doc = replacedoc, , ;
} return doc ;
} public static String tokenisasiString doc {
doc = replacedoc, , \n; return doc;
} public static String caseFoldingString doc {
doc = doc.toLowerCase; return doc;
}
List Code
4.2.2 Tokenisasi, Menghapus Tanda Baca,
Case Folding
4.2.3. Implementasi
Stopword
Pada tahap ini sistem melakukan proses penghilangan kata yang termasuk
stopword
kata yang tidak mempengaruhi proses pemerolehan informasi. Kata yang dihilangkan merupakan kata - kata yang tidak layak dijadikan
sebagai kata kunci. Berikut langkah penghilangan kata umum
stopword
pada
list code
proses Stopword public static String stopWordString doc throws
FileNotFoundException, IOException { String stoplist = openFilesrcaplikasi, stoplist.txt;
StringTokenizer stop = new StringTokenizerstoplist; String[] stopA = new String[stop.countTokens];
for int i = 0; i stopA.length; i++ { stopA[i] = stop.nextToken;
} StringTokenizer token = new StringTokenizerdoc;
String[] tokenA = new String[token.countTokens];
for int i = 0; i tokenA.length; i++ { tokenA[i] = token.nextToken;
} String kataPenting = ;
for int i = 0; i tokenA.length; i++ { String t = ;
for int j = 0; j stopA.length; j++ { if tokenA[i].equalsIgnoreCasestopA[j] {
tokenA[i] = ; }
} }
for int i = 0; i tokenA.length; i++ { if tokenA[i].isEmpty {
do nothing } else {
kataPenting = kataPenting + tokenA[i] + \n; }
} return kataPenting;
}
List Code
4.2.3
Stopword
4.2.4. Implementasi
Kategori