Klasifikasi Konten Pengaduan Pada Website BAKOHUMAS (Badan Koordinasi Hubungan Masyarakat) Dengan Metode Naïve Bayes Classifier

  

Vol. 2, No. 10, Oktober 2018, hlm. 4246-4254 http://j-ptiik.ub.ac.id

Klasifikasi Konten Pengaduan Pada Website BAKOHUMAS (Badan

Koordinasi Hubungan Masyarakat) Dengan Metode Naïve Bayes Classifier

_{1 2 3} Rois Yanuar Rahman Wahyudi , Nanang Yudi Setiawan , Fitra A. Bachtiar

  Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya _{1 2 3} Email: roisyanuar@gmail.com, nanang@ub.ac.id, fitra.bachtiar@ub.ac.id

  

Abstrak

Website

  BAKOHUMAS KOMINFO Jawa Timur merupakan website yang berfungsi sebagai perantara bagi masyarakat dengan badan lembaga pemerintahan. Pada website BAKOHUMAS terdapat fitur berupa berita-berita, terdapat juga sharing event-event yang akan diadakan oleh instansi pemerintahan. Selain itu terdapat pula fitur bagi masyarakat untuk dapat menyampaikan keluh kesah atau pengaduan terhadap kinerja dari suatu instansi pemerintahan. Pengaduan dari masyarakat ini akan disalurkan oleh KOMINFO kepada instansi-instansi yang bertanggung jawab. Akan tetapi admin harus mengecek apakah benar instansi yang dituju sudah memiliki kecocokan dengan konten dari pengaduan tersebut. KOMINFO membutuhkan suatu sistem untuk dapat mengklasifikasikan konten pengaduan secara otomatis sehingga pihak KOMINFO bisa menghemat waktu dalam menyampaikan pengaduan masyarakat kepada instansi yang tepat. Metode yang dapat digunakan untuk membangun sistem ini adalah text mining. Salah satu metode text mining yaitu Naïve Bayes classifier. Naïve Bayes classifier akan menghitung pembobotan kata dari data latih yang dimasukkan sebelumnya. Kelayakan metode ini diuji dengan ROC untuk mengetahui precision, recall, dan F-measure dari klasifikasi sistem. Pengujian menghasilkan precision 80,5%, recall 80%, dan F-measure 79.9%.

  Kata kunci : text mining, naïve bayes, sistem informasi, pengaduan, pemerintah.

  

Abstract

Website BAKOHUMAS KOMINFO east java is a website that serves as an intermediary for community

with government agencies. Where on BAKOHUMAS website there are feature such as news, there is

also sharing events that will be held by government agencies. In addition there are also feature for

community to be able convey complaints against the performance of a government agency. Complaints

from these communities will be distributed by KOMINFO to the responsible agencies. However, the

admin must check wether the intended agency already has a match with the content of the complaint.

  

KOMINFO need system to classify complaint content automatically so KOMINFO can save time in

delivering community complaints to the appropriate agencies. The method that can be used to build this

system is text mining. One method of text mining is the naïve bayes classifier. Naïve bayes classifier will

calculate the weight of words from previously entered data train. The feasibility of this method is tested

with ROC to find out the precision, recall, and F-measure of the system classification. Testing result are

precision 80,5%, recall 80%, and F-measure 79,9%.

  Keywords : text mining, naïve bayes, information system, complaint, government

  lembaga-lembaga instansi pemerintahan itu 1.

   PENDAHULUAN sendiri, terdapat juga sharing event-event yang akan diadakan oleh instansi pemerintahan.

  Website

  BAKOHUMAS Dinas KOMINFO Selain itu terdapat pula fitur bagi masyarakat insi Jawa Timur merupakan website yang untuk dapat menyampaikan keluh kesah atau berfungsi sebagai perantara bagi masyarakat pengaduan terhadap kinerja dari suatu instansi dengan badan lembaga pemerintahan. Pada pemerintahan. Pengaduan dari masyarakat ini website BAKOHUMAS terdapat fitur berupa akan disalurkan oleh dinas KOMINFO kepada berita-berita yang validitasnya terjamin karena instansi-instansi yang bertanggung jawab. yang mengunggah berita tersebut adalah

  Fakultas Ilmu Komputer Universitas Brawijaya

4246

  Akan tetapi dari hasil observasi diketahui bahwa masyarakat masih mengalami kesulitan untuk memahami fungsi dari instansi pemerintahan secara benar dikarenakan ada beberapa instansi pemerintahan yang memiliki kemiripan fungsi. Hal ini akan berdampak pada fitur pengaduan website BAKOHUMAS dinas komunikasi dan informasi Provinsi Jawa Timur, dimana fitur tersebut memerlukan masyarakat untuk mengisi tujuan instansi dari pengaduan yang akan ditulis. Untuk penanggulangan terjadi kesalahan tujuan instansi dari penulisan pengaduan tersebut, website BAKOHUMAS mengarahkan pengaduan menuju admin KOMINFO terlebih dahulu, sehingga admin akan mengecek apakah benar instansi yang dituju apakah sudah memiliki kecocokan dengan konten dari pengaduan tersebut. Masih belum adanya sistem untuk mengklasifikasikan konten pengaduan secara otomatis, menyebabkan pihak KOMINFO membutuhkan waktu yang lama untuk mengklasifikasikan konten pengaduan secara manual dan masih tidak luput dari adanya

  classifier untuk membantu pekerjaan KOMINFO dalam melakukan klasifikasi konten pengaduan menuju instansi yang tepat.

  folding, filtering dan stemming.

  Merupakan teknik data mining yang melibatkan perubahan data mentah menjadi sebuah format yang terstruktur dan dimengerti. Tahapan dalam teknik pre-processing seperti tokenization, case

  2.2 Pre-processing

  text mining functions . Fungsi utama termasuk Searching, Information Extraction (IE), Categorization, Summarization, Prioritization, Clustering, Information Monitor and Question and Answers (Mustafa, 2009).

  itu sendiri bukanlah suatu fungsi, text mining terdiri dari berbagai fungsi yang dapat dikombinasikan dan disebut dengan

  Text mining

  mining yang dibutuhkan dalam pengambilan informasi, filtering, dan klasifikasi.

  juga disebut sebagai kecerdasan dalam analisis teks, penggalian data berupa teks, atau penemuan informasi dalam teks, dengan menemukan pola yang sebelumnya tidak terlihat dalam sumber daya yang telah ada. Untuk melakukan analisis, pengambilan keputusan, dan manajemen pengetahuan, sistem informasi menggunakan informasi tidak terstruktur dalam bentuk teks. Data seperti ini membuat adanya kebutuhan dalam meningkatkan tekhnologi text

  2.1. Text Mining Text mining

  2. LANDASAN KEPUSTAKAAN

  framework PHP laravel dan penggunaan Naïve Bayes

  human error

  Dengan latar belakang masalah tersebut, penulis tertarik untuk mengembangkan sistem yang dimaksudkan untuk mendukung klasifikasi konten pengaduan terhadap instansi yang tepat. Dengan pengembangan sistem menggunakan

  berbasis apriori, untuk naïve Bayes merupakan metode utama yang digunakan untuk mengklasifikasikan tweet pada twitter tersebut, sedangkan untuk metode query expansion berbasis apriori adalah metode yang digunakan untuk mendukung metode naïve bayes dengan mencari persamaan kata/sinonim untuk memperluas kosakata yang dipunyai sehingga pengklasifikasian menjadi lebih mudah.

  expansion

  Penelitian sebelumnya berupa “KLASIFIKASI TWEETS PADA TWITTER MENGGUNAKAN METODE NAÏVE BAYES DAN QUERY EXPANSION BERBASIS APRIORI” (Sukarno, 2016) membahas tentang mengklasifikasikan tweet pada twitter menjadi beberapa kategori. Penelitian ini menggunakan dua metode yaitu Naïve Bayes dan query

  (Mustafa, 2009). Naive Bayes adalah algoritme yang mengasumsikan indepedensi diantara kemunculan kata-kata dalam dokumen, tanpa memperhitungkan urutan kata dan informasi konteks dalam kalimat atau dokumen secara umum. Selain itu metode ini memperhitungkan jumlah kemunculan kata dalam dokumen (Destuardi dan Surya, 2009).

  mining meliputi information extraction, kategorisasi tekt, summarization, clustering tekt, information monitor, and question and answers

  yaitu untuk menemukan pola (pattern) atau tren yang berguna dari sekumpulan dokumen. Fungsi utama pada text

  Knowledge Discovery in Text . Tujuan utama dari text mining

  analisis text untuk menggali informasi atau pengetahuan yang tersembunyi pada data berupa teks atau sering disebut dengan istilah

  Text mining dapat didefinisikan sebagai

  . Dibutuhkan suatu sistem untuk dapat mengklasifikasikan konten pengaduan secara otomatis sehingga KOMINFO bisa menghemat waktu dalam menyampaikan pengaduan masyarakat kepada instansi yang tepat. Metode yang dapat digunakan untuk membangun sistem ini adalah text mining.

   Case folding : merubah semua huruf dalam dokumen menjadi huruf kecil (lowercase)

  Casefolding juga digunakan untuk

  2.3 Naïve Bayes

  membuang beberapa karakter yang dianggap

  Naïve Bayes adalah salah satu algoritma sebagai tanda baca.

  pembelajaran induktif yang efektif dan efisien untuk machine learning dan data mining. Performa yang kompetitif dari Naïve Bayes dalam klasifikasi meskipun menggunakan asumsi keindependenan atribut (tidak ada kaitan antar atribut). Asumsi keindependanan atribut pada data jarang terjadi, meskipun asumsi keindependenan atribut dilanggar, klasifikasi

  Gambar 1 Contoh Case folding Naïve Bayes memiliki peforma

   Tokenizing : tahap pemotongan string pengklasifikasian cukup tinggi (Guo, 2010). masukan berdasarkan tiap kata yang

  Klasifikasi Naïve Bayes termasuk ke menyusunnya. dalam algoritma pembelajaran Bayes. Algoritma ini dibangun dari data train untuk menentukan probabilitas dari setiap kategori yang terdapat pada ciri dokumen yang diuji. Data train digunakan untuk melatih sistem dalam memahami pengkategorian suatu data.

  Selanjutnya sistem diberi tugas untuk menebak nilai fungsi target (Destuardi dan Surya,2009). Berikut metode Naïve Bayes dalam persamaan 1.

  ( | )× ( )

  (1)

  Gambar 2 Contoh Tokenizing ( | ) = ( )

  Keterangan:  Filtering : tahap mengambil kata-kata

  : Peluang kategori j ketika ( | ) penting dari hasil tokenizing menggunakan terdapat kemunculan kata i algoritme stopword removal (membuang : Peluang sebuah kata i masuk kata kurang penting). ( | ) ke dalam kategori j : Peluang kemunculan sebuah

  ( ) kategori j : Peluang kemunculan sebuah

  ) ( kata

  Peluang kemunculan sebuah kata sebenarnya bisa dihilangkan pada proses perhitungan klasifikasi karena peluang kemunculan kata tidak akan berpengaruh pada perbandingan hasil klasifikasi dari setiap kategori. Sehingga, proses pada klasifikasi dapat

  Gambar 3 Contoh Filtering disederhanakan dengan Persamaan 2.

  ( | ) = ( | ) × ( ) (2)  Stemming : Proses meningkatkan performa

  Untuk menghitung Prior atau peluang informasi retrieval dengan cara kemunculan suatu kategori pada semua mentransformasi kata-kata dalam sebuah dokumen dapat dilakukan dengan menggunakan dokumen ke kata dasarnya (Agusta, 2009). Persamaan 3.

  (3) ( ) =

  Keterangan: : Banyak kategori c pada dokumen latih : Banyak keseluruhan dokumen yang digunakan

  Gambar 4 Contoh Stemming

2.4. Pengujian ROC

  Grafik ROC adalah teknik untuk melakukan visualisasi, mengatur, dan memilih klasifikasi berdasarkan performansi. Hal ini dimulai dengan menganggap klasifikasi permasalahan hanya dibagi menjadi dua kelas. Secara formal, setiap instansi I dipetakan kepada satu elemen dari sepasang {p,n} positive dan negative label kelas. Sebuah klasifikasi model adalah pemetaan dari suatu instansi terhadap prediksi kelas. Untuk membedakan kelas yang sebenarnya dan prediksi kelas digunakan label {Y,N} untuk kelas prediksi yang dihasilkan oleh sebuah model (Fawcett, 2005).

  =

  6. Penelitian ini dimulai dengan melakukan studi literatur dengan cara mempelajari bahan- bahan yang berhubungan dengan topik penelitian seperti buku, e-book, atau jurnal. Topik terkait yang dipelajari adalah text mining,

  Langkah-langkah yang dilakukan dalam proses penelitian ini dapat dilihat pada Gambar

  3. METODOLOGI PENELITIAN

  mean dari precision dan recall.

  recall adalah F-measure yang merupakan bobot harmonic

• (4) =
• (5) − =

  (antara permintaan informasi dengan jawaban terhadap permintaan itu). Precision adalah jumlah kelompok dokumen relevan dari total jumlah dokumen yang ditemukan oleh sistem.

  Dengan sebuah classifier dan sebuah instansi, terdapat empat kemungkinan output. Jika instansinya berupa positif lalu diklasifikasikan positif maka dihitung sebagai

  Setelah itu melakukan perancangan sistem digunakan diagram-diagram untuk menggambarkan kerja sistem. Pada pengembangan sistem ini digunakan metode pemodelan Object Oriented. Maka diagram- diagram yang akan digunakan adalah flowchart diagram. Dengan menyajikan gambaran UI/UX dari website sehingga dapat terlihat bagaimana ^{Gambar 6 Alur Metode Penelitian}

  Tahap selanjutnya yaitu analisis kebutuhan , peneliti menentukan kebutuhan-kebutuhan fungsional dan analisis kebutuhan sistem.

  Lalu pengumpulan data dilakukan dengan mengambil data konten pengaduan dari website BAKOHUMAS. Data yang diambil berjumlah 90 data latih dan 30 data uji.

  Naive Bayes, pre-processing, ROC, dan laravel.

  2 1/ +1/ (6)

  Gambar 5 Gambar Matriks ROC Sumber: Fawcett (2005)

  true positive

  Recall

  , jika diklasifikasikan negatif maka dihitung sebagai false negative. Jika instansinya berupa negatif lalu diklasifikasikan negative maka dihitung sebagai true negative, jika diklasifikasikan positif maka dihitung sebagai false positive.

  dan recall pada suatu keadaan dapat memiliki bobot yang berbeda. Ukuran yang menampilkan timbal balik antara precision dan

  precision

  Dan F-measure merupakan salah satu perhitungan evaluasi dalam informasi yang mengkombinasikan precision dan recall. Nilai

  Precision adalah kepersisan atau kecocokan

  Information

  dapat diartikan sebagai proporsi jumlah dokumen yang dapat ditemukan-kembali oleh sebuah proses pencarian di sistem

  Retrieval. Berhubungan dengan kemampuan suatu sistem temu balik dalam menemukan dokumen yang relevan.

• – masing data tiap kategori sebanyak 10 data. Dengan total 30 data.

  4.2. Perancangan

  sistem ini akan berjalan ketika nantinya sudah terimplementasikan.

• – masing data tiap kategori sebanyak 30 data. Dengan total 90 data.

  Setelah perancangan selesai, dilakukan implementasi dari rancangan yang sudah dibuat kedalam baris-baris kode dengan menggunakan bahasa PHP. Dalam implementasi website ini digunakan framework dan library untuk menunjang proses pengembangan sesuai dengan kebutuhan. Hasil dari tahap ini berupa sistem yang dapat memasukkan data train sebagai data latih metode naïve bayes lalu dapat mengklasifikasikan konten pengaduan menjadi tiga kategori yaitu kesehatan, pendidikan dan keamanan berdasarkan data train yang telah dimasukkan sebelumnya tersebut.

  Pada bagian pengujian akan dipaparkan megenai tujuan pengujian yang akan dilakukan pada penelitian ini. Pengujian yang dilakukan menggunakan pengujian ROC dengan tujuan pengujian pada penelitian ini adalah untuk menentukan akurasi dari proses yang telah dirancang dan kelayakan sistem ini untuk dipakai oleh website BAKOHUMAS.

4. HASIL DAN PEMBAHASAN

  Pada bab ini dijelaskan mengenai pengembangan sistem yaitu analisis kebutuhan, perancangan sistem, implementasi sistem, dan pengujian sistem.

4.1. Analisis Kebutuhan

  Analisis kebutuhan berguna untuk mendapatkan apa saja yang diperlukan dalam pembuatan sistem ini. Kebutuhan

  Hal yang dilakukan oleh sistem pertama kali adalah mengambil data training atau data yang akan diujikan dalam proses klasifikasi konten pengaduan. Setelah itu data latih dan data uji akan melewati tahap pre-processing terlebih dahulu. Lalu naïve bayes akan melakukan klasifikasi data uji berdasarkan data latih konten pengaduan yang sudah dimasukkan terlebih dahulu. Proses jalannya sistem masih dapat dijabarkan lebih detail lagi berdasarkan prosesnya masing-masing.

  Terdapat dua proses utama yang akan dilakukan oleh sistem, yaitu pre-processing dan klasifikasi dengan Naïve Bayes. Kedua proses utama tersebut dapat dibagi lagi menjadi beberapa tahapan untuk penjabaran lebih detail proses yang dilakukan pada masing-masing tahapan.

  4.2.1 Diagram Alir Sistem

  Perancangan sistem dilakukan untuk membangun sistem yang akan diimplementasikan sebagai acuan berdasarkan kebutuhan yang telah dianalisis. Perancangan sistem yang dilakukan digambarkan ke dalam flowchart diagram dan perancangan antarmuka.

  b. Data uji dari konten pengaduan website BAKOHUMAS yang berasal dari tiga kategori dengan jumlah masing

• – kebutuhan tersebut antara lain: 1.

  Data latih dari konten pengaduan website BAKOHUMAS yang berasal dari tiga kategori dengan jumlah masing

  Sistem Operasi Microsoft Windows 10 b. Aplikasi Atom c. Aplikasi Xampp d. Browser Google Chrome e. Sistem menggunakan bahasa pemrograman php 3. Kebutuhan Data, yaitu : a.

  b. RAM 4,00 GB c.

  Komputer

  Kebutuhan Hardware, yaitu : a.

  Hardisk 1 TB 2. Kebutuhan Software, yaitu : a.

  Gambar 7 Diagram Alir Sistem

4.2.2 Diagram Alir Pre-processing

  Pre

• processing yang dilakukan pada data latih dan data uji melalui beberapa tahapan untuk menjadi sebuah kata yang siap diolah oleh naïve bayes pada proses klasifikasi. Pre-processing melalui empat tahapan utama, yaitu casefolding,

  tokenizing , filtering, dan stemming. Tahapan

  utama tersebut mempunyai tahapan-tahapan lebih detail dengan menjabarkan proses dari tahapan utama tersebut.

  Gambar 8 Diagram Alir Pre-processing

  4.2.3 Diagram Alir Metode Naïve Bayes

  Klasifikasi dengan metode naïve bayes dilakukan dengan tiga tahapan utama yaitu, menghitung nilai prior, menghitung likelihood, serta menghitung nilai posterior. Prior merupakan peluang kemunculan dari sebuah kategori berdasarkan kategori yang akan digunakan pada klasifikasi. Setelah menghitung nilai prior, langkah selanjutnya adalah menghitung likelihood. Setelah mendapatkan nilai likelihood, selanjutnya menentukan nilai posterior yang didapat dari mengalikan nilai prior dan likelihood. Dapat dilihat pada Gambar

  9.

  4.3.2 Halaman Klasifikasi Pengaduan

  Implementasi halaman klasifikasi konten pengaduan dapat dilihat pada Gambar 11. Halaman klasifikasi konten pengaduan merupakan suatu fungsi untuk melakukan klasifikasi kategori. Pengguna akan memasukkan data berupa judul pengaduan, instansi tujuan, email, memilih kota asal, dan teks yang ingin diklasifikasi, lalu menekan tombol submit untuk menjalankan sistem. Sistem akan menampilkan kategori yang sesuai dengan konten yang dimasukkan tersebut

  Gambar 11 Halaman Klasifikasi Konten Pengaduan Gambar 9 Diagram Alir Naïve Bayes

  4.3.3 Halaman Klasifikasi Data Pengujian

  Implementasi halaman data pengujian dapat dilihat pada Gambar 12. Halaman input data train merupakan suatu halaman untuk

4.3. Implementasi

  menampilkan data pengujian yang telah Tahap implementasi yaitu melakukan dilakukan. Data tersebut dibagi menjadi dua implementasi berdasarkan analisis kebutuhan tabel, yaitu data yang digunakan untuk pengujian dan perancangan yang telah dibahas pada bab dan data hasil pengujian ROC. sebelumnya.

4.3.1 Halaman Input Data Train

  Implementasi halaman input data train dapat dilihat pada Gambar 10. Pengguna akan memasukkan data train pengaduan yang berupa teks, lalu memilih kategori yang tepat untuk data tersebut. Ketika sudah terisi semua maka pengguna akan menekan tombol submit untuk menjalankan fungsi sistem ini.

  Gambar 12 Halaman Data Pengujian

  4.3.4 Halaman Dashboard

  Implementasi halaman dashboard dapat dilihat pada Gambar 14, dimana sebelum dapat mengakses halaman tersebut memerlukan login

  Gambar 10 Halaman Input Data Train terlebih dahulu seperti pada Gambar 13.

  Halaman dashboard merupakan suatu halaman untuk menampilkan grafik dari konten pengaduan.

  Gambar 13 Halaman Login Gambar 14 Halaman Dashboard

  Pada bagian ini akan dibahas tentang pengujian yang telah dilakukan pada sistem dan evaluasi sistem tersebut. Proses pengujian yang dilakukan adalah dengan mencari jumlah TP (True positive), FP (False Positive), dan FN (False Negative), untuk dapat menghitung

  Hasil akhir akurasi yang tidak 100% dalam mengklasifikasikan konten pengaduan dapat dicari penyebabnya. Pada sistem ini pengklasifikasian berjalan berdasarkan banyaknya kata dimasukkan dalam data train pada kategori tertentu. Contoh pengujian

  4.4.2. Analisis Pengujian

  Kategori Precision Recall F-measure Kesehatan 0,75 0,9 0,818181818 Keamanan 0,777778 0,7 0,736842105 Pendidikan 0,888889 0,8 0,842105263 Rata-rata 0,805556 0,8 0,799043062

  adalah 0,805555556. Hal ini menunjukkan bahwa sistem dapat menemukan dokumen yang paling relevan dan yang sesuai dengan query atau permintaan dan dibaca menjadi bernilai 80,5%. Lalu didapatkan nilai rata-rata Recall sebesar 0,8. Hal ini menunjukkan bahwa sistem dapat menemukan semua dokumen yang relevan dan yang diterima dan dibaca menjadi bernilai 80%. Untuk nilai F-measure berdasarkan Tabel 2 yaitu sebesar 0,79904306. Hal ini menunjukkan bahwa sistem dapat bekerja dengan baik secara keseluruhan dan dibaca menjadi bernilai 79,9%. _{Tabel 2 Hasil Precison, Recall, dan F-Measure}

  Precision yang didapatkan berdasarkan Tabel 2

  Lalu pada kategori keamanan nilai Precision yang didapatkan adalah 0,777778, nilai Recall yang didapatkan adalah 0,7, dan nilai F-measure yang didapatkan adalah 0,73684211. Dan pada kategori pendidikan data Precision yang didapatkan adalah 0,888889, data Recall yang didapatkan adalah 0,8, dan data F-measure yang didapatkan adalah 0,84210526. Nilai rata-rata

  measure yang didapatkan adalah 0,81818182.

  yang didapatkan adalah 0,9, dan nilai F-

  Precision yang didapatkan yaitu 0,75, nilai Recall

  dapat berjalan dengan baik dalam melakukan pengklasifikasian konten pengaduan. Hal ini dapat dilihat dari hasil nilai Recall, Precision, dan F-measure. Pada kategori kesehatan nilai

  measure. Pada Tabel 2 dapat dilihat sistem sudah

  19 Pada Tabel 1 dapat dilihat hasil dari TP, FP, FN, dan TN yang akan digunakan untuk menghitung nilai Recall, Precision dan F-

  2

  1

  8

  18 Pendidikan

  3

  2

  7

  17 Keamanan

  1

  3

  9

4.4. Pengujian

  Kategori TP FP FN TN Kesehatan

  Recall , Precision dan F-measure. _{Tabel 1 Hasil TP, FP, FN, dan TN}

  Pada pengujian akurasi ini akan digunakan masing-masing 30 data latih setiap kategori, lalu diuji dengan data uji masing-masing berjumlah 10 data uji setiap kategori. Cara pengujian ini adalah dengan cara mengujikan semua data uji kepada sistem kemudian menghitung nilai

  digunakan untuk mengukur performa dari sistem klasifikasi konten pengaduan website BAKOHUMAS. Pengujian yang dilakukan menggunakan 120 data dengan detail 90 data latih dan 30 data uji, terdapat 3 kategori yaitu, kesehatan, keamanan, dan pendidikan.

  recall , precision dan f-measure. Pengujian ini

4.4.1. Pengujian Akurasi

  kategori pendidikan terdapat dua konten Konferensi Nasional Sistem dan pengaduan yang gagal diklasifikasi dengan Informatika . benar, dua konten tersebut diklasifikasikan Destruardi I. & Sumpeno S., 2009. sebagai kesehatan dan keamanan. Pada kasus

  Klasifikasi Emosi Untuk Teks Bahasa salah klasifikasi menjadi kesehatan tersebut, Indonesia Menggunakan Metode Naïve diduga karena data uji yang dipakai membahas Bayes. Surabaya: Institut Teknologi tentang mahasiswa kedokteran, kata kunci Sepuluh November. “dokter” muncul lebih banyak daripada kata Fawcett, T., 2005. An Introduction to ROC ku nci “mahasiswa”. Analysis. USA: Institute for the Study of Learning and Expertise.

5. KESIMPULAN Kominfo, 2017. Profil Badan Komunikasi

  Hubungan Masyarakat. [Online]

  Berdasarkan hasil seluruh penelitian, maka Tersedia di: dari penelitian ini dapat diambil kesimpulan http://bakohumas.jatimprov.go.id/home sebagai berikut: [Diakses 16 Oktober 2017].

1. Data latih dan data uji bersumber dari Mustafa A., Akbar A., & Sultan A., 2009.

  konten pengaduan website Knowledge Discovery Using Text

  BAKOHUMAS. Data latih dan data uji Mining: A Programmable yang digunakan akan melalui proses pre- Implementation on Information

  processing yaitu casefolding, tokenizing,

  Extraction and Categorization. Pakistan:

  filtering

  , dan stemming. Data latih akan National University of Computer and dimasukkan kedalam sistem sebagai data Emerging Science. train. Lalu data uji akan dihitung bobotnya

  Sukarno A., 2016. Klasifikasi Tweets Pada sesuai dengan data train yang telah

  Twitter Menggunakan Metode Naïve

  dimasukkan sebelumnya. Hasil akhir yang

  Bayes Dan Query Expansion Berbasis

  didapat dari sistem ini adalah hasil

  Apriori. Malang: Fakultas Ilmu klasifikasi dari data uji tersebut.

  Komputer.

  2. Perancangan sistem klasifikasi ini berdasarkan kebutuhan data yaitu data uji dan data latih yang totalnya 120 data, lalu diagram flowchart untuk alur kerja sistem metode Naïve Bayes, dan pembuatan tampilan yang digunakan dengan fungsi memasukkan data train, melakukan klasifikasi konten pengaduan, dan

  dashboard

  data berbentuk dengan tujuan memudahkan pengambilan keputusan untuk pihak KOMINFO.

  3. Berdasarkan pengujian ROC dengan nilai rata- rata Precision, Recall, dan F-

  measure mempunyai nilai minimal 79,9%.

  Dimana angka 79,9% tersebut membuktikan bahwa metode complement

  Naïve Bayes yang telah dibuat layak untuk

  digunakan dalam mengklasifikasikan konten pengaduan pada website bakohumas.

6. DAFTAR PUSTAKA

  Agusta L., 2009. Perbandingan Algoritma

  Stemming Porter Dengan Algoritma Nazief & Adriani Untuk Stemming Teks Bahasa Indonesia. Bali: