Pemisahan Kalimat Analisis Proses Preprocessing

Adapun contoh proses preprocessing untuk case folding dapat dilihat pada Tabel 3.2 berikut: Tabel 3.2 Contoh Case Folding Sebelum Sesudah Case Folding Malaysia memerintahkan penutupan sebagian sekolah selama 2 hari, akibat kabut asap tebal menyelimuti kawasan Asia Tenggara malaysia memerintahkan penutupan sebagian sekolah selama 2 hari akibat kabut asap tebal menyelimuti kawasan asia tenggara

3.4.3 Filtering

Proses filtering adalah tahapan pemrosesan teks dimana semua teks selain karakter “a” sampai “z” akan dihilangkan dan hanya menerima spasi[6]. Adapun flowchart dari proses preprocessing filtering dapat dilihat pada Gambar 3.6 berikut: Mulai Hapus huruf selain “a” sampai “z” Selesai Data hasil case folding Data hasil filtering Cek apakah ada huruf selain “a” sampai “z” ada tidak ya Gambar 3.6 Flowchart Proses Preprocessing Filtering Adapun contoh proses preprocessing untuk filtering dapat dilihat pada Tabel 3.3 berikut: Tabel 3.3 Contoh Filtering Sebelum Sesudah Case Folding malaysia memerintahkan penutupan sebagian sekolah selama 2 hari, akibat kabut asap tebal menyelimuti kawasan asia tenggara malaysia memerintahkan penutupan sebagian sekolah selama hari akibat kabut asap tebal menyelimuti kawasan asia tenggara

3.4.4 Tokenizing

Proses Tokenizing adalah proses pemotongan string input berdasarkan tiap kata yang menyusunnya, memecahkan data kalimat dan memisahkannya menjadi setiap kata . Pemecahan kalimat menjadi kata-kata tunggal dilakukan dengan men- scan kalimat dan setiap kata terindentifikasi atau terpisahkan dengan kata yang lain oleh pemisah spasi[7]. Adapun flowchart dari proses preprocessing tokenizing dapat dilihat pada Gambar 3.7 berikut: Mulai Selesai Data kalimat- kalimat Data hasil tokenizing kata Pecah data menjadi tiap kata Gambar 3.7 Flowchart Proses Preprocessing Tokenizing Adapun contoh proses preprocessing untuk tokenizing dapat dilihat pada Tabel 3.4 berikut: Tabel 3.4 Contoh Tokenizing Sebelum Sesudah Tokenizing malaysia memerintahkan penutupan sebagian sekolah selama hari akibat kabut asap tebal menyelimuti kawasan asia tenggara  malaysia  memerintahkan  penutupan  sebagian  sekolah  selama  hari  akibat  kabut  asap  tebal  menyelimuti  kawasan  asia  tenggara