Multinomial Naive Bayes atau Multinomial NB

pengklasifikasi jaringan saraf neural network tertentu. Pengklasifikasi Bayesian juga menunjukkan akurasi dan kecepatan yang tinggi saat diterapkan pada basisdata yang besar. Pengklasifikasi naive Bayesian mengasumsikan bahwa pengaruh dari nilai atribut pada kelas tertentu tidak bergantung pada nilai atribut lainnya. Asumsi ini disebut class conditional independence. Asumsi ini dibuat untuk menyederhanakan perhitungan yang rumit dan, dalam arti ini, dianggap “naive”.

1.5.1. Multinomial Naive Bayes atau Multinomial NB

Menurut Manning, Raghavan, Schutze, 2008, probabilitas sebuah dokumen d berada di kelas c dihitung dengan: ��|� ∝ �� � �� � | � 1 ≤�≤� � 1 • �� � | �, adalah conditional probability dari term � � yang terdapat dalam sebuah dokumen dari kelas c. �� � | � diinterpretasikan sebagai ukuran dari seberapa banyak petunjuk � � membantu dalam menentukan bahwa c adalah kelas yang tepat. • ��, adalah prior probability dari sebuah dokumen yang terdapat dalam kelas c. Bila term dari sebuah dokumen tidak memberikan petunjuk yang jelas untuk satu kelas dibandingkan dengan kelas lainnya, maka dipilih satu kelas yang memiliki prior probability yang tertinggi. • 〈� 1 , � 2 , … , � � � 〉, adalah kumpulan token dalam dokumen d yang merupakan bagian dari vocabulary yang digunakan untuk mengklasifikasi dan � � adalah jumlah token tersebut di dalam dokumen d. Contoh, 〈� 1 , � 2 , … , � � � 〉 untuk dokumen dengan satu kalimat Beijing and Taipei join the WTO, menjadi 〈Beijing, Taipei, join, WTO〉, dengan � � = 4, jika term and dan the dianggap sebagai stop words. Untuk memperkirakan prior probability ��� digunakan persamaan sebagai berikut: �� = � � � 2 • � � = jumlah dari dokumen training dalam kelas c. • N = jumlah keseluruhan dokumen training dari seluruh kelas. Untuk memperkirakan conditional probability ���|� persamaan yang digunakan, yaitu: �� � | � = � �� ∑ � �� ′ � ′ ∈ � 3 • T ct = jumlah kemunculan term t dalam sebuah dokumen training dari kelas c. • ∑ � ��′ ′ �′∈� = jumlah total dari keseluruhan term yang terdapat dalam sebuah dokumen training dari kelas c. Masalah dari proses perkiraan nilai conditional probabilities pada persamaan 5 adalah terdapat nilai nol dari sebuah kombinasi term|class yang tidak terdapat dalam data training. Berdasarkan contoh di atas, bila term WTO dalam data training hanya terdapat dalam dokumen China, maka perkiraan untuk kelas – kelas lainnya, misalnya UK, akan bernilai nol 0: �WTO|�� = 0 Untuk menghilangkan nilai nol, digunakan add-one atau Laplace smoothing. Proses ini menambahkan nilai satu 1 pada setiap nilai T ct dari perhitungan conditional probabilities. Sehingga persamaan untuk conditional probabilities menjadi: �� � | � = � �� + 1 ∑ � �� ′ + � ′ � ′ ∈ � 4 • B’ = jumlah keseluruhan term unik dari seluruh kelas.

1.6. Evaluasi Sistem Pemerolehan Informasi menggunakan K-