Support Vector Machine SVM

Algoritma 2: Zone Centroid Zone ZCZ berdasarkan jarak metrik. 1. Bagi citra masukan ke dalam sejumlah n bagian yang sama . 2. Hitung centroid dari masing-masing zona. 3. Hitung jarak antara centroid masing-masing zona dan piksel yang ada di zona. 4. Ulangi langkah ke 3 untuk seluruh piksel yang ada di zona. 5. Hitung rata-rata jarak antara titik-titik tersebut. 6. Ulangi langkah 3-7 untuk setiap zona secara berurutan. 7. Hasilnya adalah n fitur yang akan digunakan dalam klasifikasi dan pengenalan

2.5. Support Vector Machine SVM

Support Vector Machine SVM adalah suatu teknik untuk melakukan prediksi, baik dalam kasus klasifikasi maupun regresi Santoso, 2007. SVM berada dalam satu kelas dengan Artificial Neural Network ANN dalam hal fungsi dan kondisi permasalahan yang bisa diselesaikan. Keduanya masuk dalam kelas supervised learning. SVM akan mencari hyperplane bidang pemisah terbaik yang memisahkan data dari satu permasalahan. Menurut Osuna et al 1997 data dikatakan linearly separable jika permasalahan tersebut dapat dicari pasangan w, b. Linearly separable data merupakan data yang dapat dipisahkan secara linier. Support Vector Mahine menggunakan model linear sebagai decision boundary dengan bentuk umum sebagai berikut : yx = w . x + b 2.2 Dimana w = parameter bobot x = vektor input label kelas b = bias Misalkan { , … , � } merupakan data set dan € {+1 , -1} merupakan label kelas data dari . Pada Gambar 2.10 dapat dilihat berbagai alternatif bidang pemisah yang dapat memisahkan semua data set sesuai dengan kelasnya a. Namun, bidang Universitas Sumatera Utara pemisah terbaik tidak hanya dapat memisahkan data tetapi juga memiliki margin paling besar. a b Gambar 2.10 a alternatif bidang pemisah b hyperplane terbaik dengan margin m terbesar Krisantus,2007 Data yang berada atau terdekat pada bidang pemisah ini disebut support vector. Pada Gambar 2.7 b dua kelas dipisahkan oleh sepasang bidang pembatas yang sejajar. Bidang pembatas pertama membatasi kelas pertama kotak sedangkan bidang pembatas kedua membatasi kelas kedua lingkaran, sehingga pattern yang termasuk kelas 1sampel negatif memenuhi pertidaksamaan : . + � − 2.3 Sedangkan pattern yang termasuk kelas 2 sampel positif dapat dirumuskan sebagai pattern yang memenuhi pertidaksamaan : . + � + 2.4 Dimana w = normal bidang parameter bobot x = label kelas vektor input b = posisi bidang relatif terhadap pusat koordinat bias Universitas Sumatera Utara Kedua kelas dapat terpisah secara sempurna oleh bidang pemisah classifierHyperplane. Hyperplane pemisah terbaik antara kedua kelas dapat ditemukan dengan mengukur margin Hyperplane tersebut dan mencari titik maksimalnya. Margin merupakan jarak antara Hyperplane tersebut dengan pattern terdekat dari masing-masing kelas. Nilai margin jarak antara hyperplane berdasarkan rumus jarak ke titik pusat adalah : − − − − � = |�| 2.5 Dengan mengalikan b dan w dengan sebuah konstanta, akan menghasilkan nilai margin yang dikalikan dengan konstanta yang sama. SVM menggunakan konsep margin yang didefinisikan sebagai jarak terdekat antara decision boundary dengan sembarang data training, dengan memaksimumkan nilai margin maka akan didapat suatu decision boundary tertentu. Margin terbesar didapat dengan memaksimalkan nilai jarak antara hyperplane dan titik terdekatnya yaitu |�| . Maka pencarian hyperplane terbaik dengan nilai margin terbesar dapat dirumuskan menjadi masalah optimasi konstrain yaitu mencari titik minimal persamaan 2.6 dengan memperhatikan constraint persamaan 2.7. min | | 2.6 . w + b-1 0 2.7 Menggunakan metode lagrange multiplier dapat lebih mudah menyelesaikan permasalahan optimasi konstrain dalam mencari titik minimal dengan menggunakan tambahan konstrain � yang disebut sebagai lagrange multiplier dalam fungsi sebagai berikut : 2.8 Keterangan : � bernilai nol atau positif � 0 . Dengan meminimumkan Lp terhadap w dan b maka : Universitas Sumatera Utara � � � � w,b,α = 0 ∑ � � = = 0 2.9 dan dari � �� � � w,b,α = 0 w = ∑ � � = = 0 2.10 Vektor w sering bernilai besar hingga tak terhingga, tetapi nilai � terhingga. Oleh karena itu formula lagrangian Lp prima problem diubah kedalam dual problem � � dengan mensubstitusikan persamaan 2.10 ke Lp sehingga diperoleh dual problem � � dengan konstrain yang berbeda. � � � = ∑ � � = - ∑ � � � = , − 2.11 Pencarian hyperplane terbaik dapat dirumuskan sebagai berikut : 2.12 Dari hasil perhitungan ini diperoleh � 0 support vector , data yang memiliki nilai � yang positif inilah yang berperan pada model decision boundary, sehingga kelas dari data pengujian x dapat ditentukan berdasarkan nilai dari fungsi keputusan: f = ∑ � + � �� = 2.13 Dimana : = support vector = data yang akan diklasifikasi ns = jumlah support vector Selain dapat menyelesaikan permasalahan linear. SVM dirancang dapat menyelesaikan permasalahan non linear dengan memetakan permasalahan tersebut ke Universitas Sumatera Utara dalam ruang ciri berdimensi lebih tinggi kemudian diterapkan klasifikasi linear dalam ruang tersebut. 2.5.1 Contoh Kasus Contoh kasus pertama SVM dengan dua kelas dan empat data pada Tabel 2.1 berikut ini merupakan problem linier yang akan ditentukan fungsi klasifikasi hyperpalane. Adapun formulasi masalahnya adalah sebagai berikut : Tabel 2.1 Contoh kasus nilai fitur dan kelas Kasus X 1 X 2 Kelas y 1 1 1 -1 1 -1 1 -1 -1 -1 -1 -1 Langkah-langkah yang dilakukan dalam menentukan fungsi klasifikasihyperplane dari contoh kasus diatas adalah :  Penentuan variabel bobot dari fitur ciri kasus. Terdapat dua fitur ciri pada tabel 3.1 yaitu x 1, x 2 sehingga w bobot akan memiliki 2 fitur yaitu w 1 dan w 2 .  Optimasi masalah dengan meminimal kan nilai sebagai berikut : min + + C t 1 + t 2 + t 3 + t 4 Dengan syarat sebagai berikut : y i w.x i + b ≥ 1 i = 1, 2, 3, …, N Konstrain : w 1 + w 2 + b + t 1 ≥ 1 w 1 - w 2 - b + t 2 ≥ 1 -w 1 + w 2 - b + t 3 ≥ 1 w 1 + w 2 - b + t 4 ≥ 1 t 1 , t 2 , t 3, t 4 ≥ 0 Karena merupakan kasus klasifikasi linear, maka bisa dipastikan nilai variabel slack t i = 0. Jadi bias dimasukkan nilai C = 0. Setelah menyelesaikan problem optimasi diatas, maka didapat solusi : Universitas Sumatera Utara w 1 = 1 , w 2 = 1 , b = 1 Jadi persamaan fungsi pemisahnya adalah : fx = x 1 + x 2 -1 Sehingga semua nilai fx 0 diberi label -1 dan fx 0 diberi laber +1.

2.6. Penelitian Terdahulu