Arsitektur JST backpropagation JST Backpropagation
Persamaan 11 mengasumsikan bahwa terdapat sebuah fungsi f yang dapat mengakprosimasi seluruh pasangan
, dengan deviasi ε, atau dengan kata lain permasalahan optimisasi tersebut adalah feasible. Gambar 5 mengilustrasikan
fungsi linier yang dapat mengakprosimasi seluruh pasangan , dengan
deviasi ε. Bila nilai ε sama dengan 0 maka didapatkan suatu fungsi regresi yang sempurna.
Kadangkala mungkin akan ditolerirditerima adanya beberapa kesalahan atau kasus yang infeasible, dimana terdapat keluaran dari fungsi menyimpang
lebih dari ε. Untuk mengatasi pembatas yang infeasible pada permasalahan optimisasi 10, maka dapat ditambahkan variable slack ξ
i
, ξ
i
. Selanjutnya permasalahan optimisasi dapat diformulasikan sebagai berikut Vapnik, 1995
dalam
Smola dan Schölkopf, 2003
: min
=
‖2‖
=
+B ∑ D + D
∗ ,
F
12 yang memenuhi :
G − 〈2, 〉 − 5 ≤ A + D
〈2, 〉 + 5 − ≤ A + D
∗
D , D
∗
≥ 0
konstanta C0 menentukan tawar menawar trade-off antara ketipisan fungsi f dengan batas deviasi yang melebihi ε yang masih dapat ditoleransi. Hal ini
kemudian berhadapan dengan yang disebut sebagai ε-insensitive lost function |D|
J
sebagai berikut: |D|
J
≔ jika |D| ≤ A
|D| − A untuk lainnya 13
Semua deviasi lebih besar dari ε dikenakan pinalti sebesar C. Penetapan nilai C yang besar berarti menekankan pentingnya faktor ε dibanding faktor ketipisan
fungsi, sedangkan nilai C yang kecil berarti lebih mementingkan faktor ketipisan fungsi. Nilai ε ekuivalen dengan akurasi dari aproksimasi pada data latih. Gambar
6 menggambarkan situasi secara grafis penambahan variabel slack ξ
i
, ξ
i
untuk mengatasi pembatas yang tidak layak infeasible constraint. Hanya titik-titik
yang diluar daerah yang diarsir berkontribusi terhadap ongkos pinalti. Support vector adalah titik-titik dalam data latih yang terletak pada dan diluar pembatas
dari fungsi regresi. Semakin kecil nilai ε, akurasi semakin tinggi, maka jumlah support vector semakin banyak, nilai variabel slack juga semakin tinggi sehingga
memberi pengaruh yang lebih besar pada fungsi optimisasi.
Gambar 6 Ilustrasi pengaturan soft margin untuk SVR Linier
Permasalahan optimisasi pada persamaan 12, kebanyakan lebih mudah diselesaikan dalam formulasi dual
Smola dan Schölkopf, 2003, dan formulasi dual juga menyediakan kunci untuk memperluas SVM pada fungsi-fungsi non linier.
Dalam formulasi dual, menggunakan metode pengganda Lagrange, permasalahan optimisasi 12 dapat dituliskan dengan :
Max Q −
=
∑ R − R
∗
SR
T
− R
T ∗
U〈 ,
T
〉
, ,TF
– A ∑ R + R
∗ ,
F
+ ∑ R − R
∗ ,
F
14 yang memenuhi
∑ R − R
∗
= 0
, F
dan R , R
∗
∈ W0, BX
w dapat diuraikan secara lengkap sebagai kombinasi linier dari vektor- vektor dalam data latih x
i,
2 = ∑ R − R
∗ ,
F
, sehingga fungsi regresi dapat dituliskan sebagai :
= ∑ R − R
∗
〈 , 〉 + 5
, F
15