KLASIFIKASI BAYESIAN Data Mining

KLASIFIKASI
BAYESIAN
Kelompok 5
Bonggakarang Adrianus
Entaren Junvenly
Makagiansar Gaelle
Maingkolang Nirwanto
Palar Ngurah Daniel
Wajongkere Sandy

MAINGKOLANG NIRWANTO

Overview
Today we learn:
• Bayesian classification
• E.g. How to decide if a patient is ill or healthy, based on
• A probabilistic model of the observed data
• Prior knowledge

Introduction
Klasifikasi adalah salah satu tugas yang penting dalam data

mining, dalam klasifikasi sebuah pengklasifikasi dibuat dari
sekumpulan data latih dengan kelas yang telah ditentukan
sebelumnya Naive Bayes adalah salah satu Algoritma
Klasifikasi yang populer, Performa naïve bayes yang
kompetitif dalam proses klasifikasi walaupun menggunakan
asumsi keidependenan atribut (tidak ada kaitan antar atribut).

MAKAGIANSAR GAELLE

Classification problem
• Training data: examples of the form (d,h(d))
• where d are the data objects to classify (inputs)
• and h(d) are the correct class info for d, h(d){1,…K}
• Goal: given dnew, provide h(dnew)

Bayes’ Rule

P (d | h) P (h)
p (h | d ) 
P (d )

Who is who in Bayes’ rule
P (h) :

Understanding Bayes' rule
d  data
h  hypothesis(model)
- rearrangin g
p (h | d ) P (d )  P (d | h) P (h)
P (d , h)  P (d , h)
the same joint probability
on both sides

prior belief (probability of hypothesis h before seeingany data)
likelihood(probability of the data if the hypothesis h is true)

P (d )   P (d | h) P (h) : data evidence (marginalprobability of the data)
P (d | h) :

h

P (h | d ) :

posterior (probability of hypothesis h after having seen the data d )

DANIEL PALAR

Why Bayesian?
• Provides practical learning algorithms
• E.g. Naïve Bayes
• Prior knowledge and observed data can be combined
• It is a generative (model based) approach, which offers
a useful conceptual framework
• E.g. sequences could also be classified, based on a
probabilistic model specification
• Any kind of objects can be classified, based on a
probabilistic model specification

Probabilities
• Have two dice h1 and h2

• The probability of rolling an i given die h1 is denoted P(i|h1).
This is a conditional probability
• Pick a die at random with probability P(hj), j=1 or 2. The
probability for picking die hj and rolling an i with it is called
joint probability and is P(i, hj)=P(hj)P(i| hj).
• For any events X and Y, P(X,Y)=P(X|Y)P(Y)
• If we know P(X,Y), then the so-called marginal probability
P(X) can be computed as
P ( X )   P ( X , Y)
Y

BONGGAKARAENG ADRIANUS

• Ex.
• Misalkan si-A bercerita /bercakap-cakap akrab dengan
seseorang lain di atas kereta api. Informasi yang didapat,
peluang si-A bercakap-cakap dengan perempuan adalah
50%. Sekarang misalkan si-A menyebut bahwa orang lain di
atas kereta api itu berambut panjang.
• Dari keterangan baru ini tampaknya lebih boleh jadi si-A

bercakap-cakap dengan perempuan, karena orang berambut
panjang biasanya wanita.
• Teorema Bayes dapat digunakan untuk menghitung besarnya
peluang bahwa si-A berbicara dengan seorang wanita, berapa
peluang seorang wanita berambut panjang?.

• Misalkan:
W adalah kejadian percakapan dilakukan dengan seorang
wanita.
L adalah kejadian percakapan dilakukan dengan seorang
berambut panjang
M adalah kejadian percakapan dilakukan dengan seorang pria

• Kita dapat berasumsi bahwa wanita adalah setengah dari populasi.
Artinya peluang si-A berbicara dengan wanita adalah 0,5.
P(W) = 0,5
• Misalkan juga bahwa diketahui 75 persen wanita berambut panjang. Ini
berarti bila kita mengetahui bahwa seseorang adalah wanita, peluangnya
berambut panjang adalah 0,75.
P(L/W) = 0,75

• Sebagai keterangan tambahan kita juga mengetahui bahwa peluang
seorang pria berambut panjang adalah 0,3.
P(L/M) = 0,3.
• Di sini kita mengasumsikan bahwa seseorang itu adalah pria atau wanita,
atau P (M) = 1 - P (W) = 0,5. Dengan kata lain M adalah kejadian
komplemen dari W.
• Tujuan kita adalah menghitung peluang seseorang itu adalah wanita bila
diketahui dia berambut panjang, atau dalam notasi yang kita gunakan,
P (W|L). Menggunakan teorema Bayes.

SANDY WAJONGKERE

• Dengan memasukkan nilai-nilai peluang yang diketahui ke dalam
rumus di atas, kita mendapatkan peluang seseorang itu wanita bila
diketahui dia berambut panjang adalah 0,714.
• Dari contoh di atas kita bisa merumuskan teorema Bayes secara
umum. Teorema Bayes dinyatakan sebagai:

Klasifikasi teks adalah proses pengelompokan dokumen kedalam
kelas berbeda, dalam tahapannya tiap dokumen d menunjuk

pada satu kelas tertentu maka dibutuhkan proses untuk
menggali informasi dari dokumen tersebut. Sehingga dokumen
tersebut harus dapat merepresentasikan dari kelasnya sehingga
tiap kata yang muncul dalam dokumen mempunyai nilai.

ENTAREN JUNVENLY

Klasifikasi–klasifikasi Bayes adalah klasifikasi tatistik yang
dapat memprediksi kelas suatu anggota probabilitas. Untuk
klasifikasi Bayes sederhana yang lebih dikenal sebagai naïve
Bayesian Classifier dapat diasumsikan bahwa efek dari suatu
nilai atribut sebuah kelas yang diberikan adalah bebas dari
atribut-atribut lain. Asumsi ini disebut class conditional
independence yang dibuat untuk emudahkan perhitunganperhitungan pengertian ini dianggap “naive”.

Remember!
• Bayes’ rule can be turned into a classifier
• Naive Bayes Classifier is a simple but effective Bayesian
classifier for vector data (i.e. data with several attributes) that
assumes that attributes are independent given the class.

• Bayesian classification is a generative approach to classification