dari tes tersebut, yang akan membawa kepada internal node node yang memiliki satu cabang masuk dan dua atau lebih cabang yang keluar, dengan cara harus
melakukan tes lagi terhadap atribut atau node daun. Record yang kelasnya tidak diketahui kemudian diberikan kelas yang sesuai dengan kelas yang ada pada node
daun. Pada pohon keputusan setiap simpul daun menandai label kelas. Proses dalam pohon keputusan yaitu mengubah bentuk data tabel menjadi model pohon
tree kemudian mengubah model pohon tersebut menjadi aturan rule.
2.4. Algoritma Iterative Dichotomizes versi 3 ID3
Iterative Dichotomizes 3 ID3 adalah algoritma decision tree learning algoritma pembelajaran pohon keputusan yang paling dasar. Algoritma ini melakukan
pencarian secara rakus menyeluruh greedy pada semua kemungkinan pohon keputusan. Salah satu algoritma induksi pohon keputusan yaitu ID3 Iterative
Dichotomizes 3. ID3 dikembangkan oleh J. Ross Quinlan. Algoritma ID3 dapat diimplementasikan menggunakan fungsi rekursif fungsi yang memanggil dirinya
sendiri. Algoritma ID3 berusaha membangun decision tree pohon keputusan secara top-down dari atas ke bawah, mulai dengan pertanyaan : “atribut mana
yang pertama kali harus dicek dan diletakkan pada root?” pertanyaan ini dijawab dengan mengevaluasi semua atribut yang ada dengan menggunakan suatu ukuran
statistic yang banyak digunakan adalah information gain untuk mengukur efektivitas suatu atribut dalam mengklasifikasikan kumpulan sampel data
David,2004 Decision Tree adalah sebuah struktur pohon, dimana setiap node pohon
merepresentasikan atribut yang telah diuji, setiap cabang merupakan suatu pembagian hasil uji, dan node daun leaf merepresentasikan kelompok kelas
tertentu. Level node teratas dari sebuah decision tree adalah node akar root yang biasanya berupa atribut yang paling memiliki pengaruh terbesar pada suatu kelas
tertentu.
Universitas Sumatera Utara
Function ID3 kumpulanSampel, AtributTarget, KumpulanAtribut 1.
Buat simpul root 2.
If semua sampel adalah kelas I, maka return pohon satu simpul root dengan label i
3. If kumpulanAtribut = = 0, return pohon satu simpul Root
dengan label = nilai atribut target yang paling sering muncul Else
Hitung Information gain tiap atribut
A adalah Information gain terbesar. Jadikan A sebagai
Root
For V
i
setiap nilai pada atribut A -
Tambahkan cabang untuk tiap nilai V
i
- Buat suatu variabel, misal sampel V
i
, Sebagai himpunan bagian dari kumpulan sampel yang
bernilai V
i
pada atribut A -
If sampel V
i
kosong, maka tambahkan simpul daun dengan label = nilai atribut yang paling sering
muncul. Else
Dibawah cabang tambahkan subtree dengan memanggil fungsi ID3 Sampel
Vi
, AtributTarget, Atribut-[A]
Rekursif. End
End End
4. Return Root
Gambar 2.3: Algoritma ID3
2.5. Entropy
