2.4.3 Fungsi Aktivasi
Fungsi aktivasi merupakan fungsi yang menentukan level aktivasi, atau keadaan internal sebuah neuron dalam jaringan saraf tiruan, yang merupakan
sebuah fungsi dari masukan yang diterima neuron tersebut. Pada JST backpropagation, fungsi aktivasi yang digunakan harus memenuhi karakteristik
tertentu, yaitu kontinyu, terdiferensial dan fungsi yang tidak turun monoton. Fungsi-fungsi aktivasi yang sering digunakan adalah
Sigmoid Biner , yang mempunyai range output [0, 1] :
x
e x
f
−
+ =
1 1
6
Sigmoid Bipolar
, dengan range [-1,1] :
1 1
2 −
+ =
− x
e x
f
7
Linie r, dengan range output tidak terbatas :
x x
f =
8
Linier Positif , dengan range dari 0 hingga tidak terbatas positif :
= , untuk 0 0, untuk ≤ 0
9 Ilustrasi grafis untuk fungsi-fungsi aktivasi tersebut dapat dilihat pada
Gambar 4.
a Fungsi Sigmoid Biner b Fungsi Sigmoid Bipolar
c Fungsi Linier d Fungsi Linier Positif
Gambar 4 Fungsi aktivasi Sigmoid Biner, Sigmoid Bipolar, Linier dan Linier Positif
2.5 Support Vector Regression SVR
SVR merupakan penerapan Support Vector Machine SVM untuk kasus regresi. Dalam kasus regresi, keluaran model ini berupa bilangan riil atau
kontinyu. SVR merupakan metode yang dapat mengatasi overfitting, sehingga akan menghasilkan kinerja yang bagus Smola dan Scholkoft, 2003.
Misal diberikan l buah data latih ,
, … ,
,
,
,
- ⊂ × 0 dimana X merupakan ruang input, misal X =
0 , dalam ε-SVR, tujuan yang akan dicapai adalah untuk menemukan fungsi fx yang mempunyai deviasi paling besar
senilai ε dari target aktual y
i
untuk keseluruhan data latih, dan pada saat yang sama juga dicari yang setipis flat mungkin. Dengan demikian, semua kesalahan
selisih antara output fungsi dengan target aktual akan diabaikan asalkan nilainya kurang dari ε, namun tidak akan menerima semua kesalahan yang lebih besar dari
ε. Misal fx adalah fungsi linier dalam bentuk berikut :
= 〈2, 〉 + 5 dengan 2 ∈ , 5 ∈ ℝ. 10
dimana 〈. , . 〉 menyatakan dot product dalam X.
Ketipisan flatness untuk fungsi pada 10 mempunyai pengertian pencarian sebuah nilai w yang kecil, yang salah satu caranya adalah dengan
meminimalkan nilai norm dari w, yaitu ‖2‖
=
= 〈2, 2〉. Hal tersebut dapat dituliskan dalam permasalahan optimisasi sebagai berikut :
min
=
‖2‖
=
11 yang memenuhi :
− 〈2, 〉 − 5 ≤ A 〈2, 〉 + 5 − ≤ A
Gambar 5 Ilustrasi fungsi regresi yang feasible untuk SVR Linier
Persamaan 11 mengasumsikan bahwa terdapat sebuah fungsi f yang dapat mengakprosimasi seluruh pasangan
, dengan deviasi ε, atau dengan kata lain permasalahan optimisasi tersebut adalah feasible. Gambar 5 mengilustrasikan
fungsi linier yang dapat mengakprosimasi seluruh pasangan , dengan
deviasi ε. Bila nilai ε sama dengan 0 maka didapatkan suatu fungsi regresi yang sempurna.
Kadangkala mungkin akan ditolerirditerima adanya beberapa kesalahan atau kasus yang infeasible, dimana terdapat keluaran dari fungsi menyimpang
lebih dari ε. Untuk mengatasi pembatas yang infeasible pada permasalahan optimisasi 10, maka dapat ditambahkan variable slack ξ
i
, ξ
i
. Selanjutnya permasalahan optimisasi dapat diformulasikan sebagai berikut Vapnik, 1995
dalam
Smola dan Schölkopf, 2003
: min
=
‖2‖
=
+B ∑ D + D
∗ ,
F
12 yang memenuhi :
G − 〈2, 〉 − 5 ≤ A + D
〈2, 〉 + 5 − ≤ A + D
∗
D , D
∗
≥ 0
konstanta C0 menentukan tawar menawar trade-off antara ketipisan fungsi f dengan batas deviasi yang melebihi ε yang masih dapat ditoleransi. Hal ini
kemudian berhadapan dengan yang disebut sebagai ε-insensitive lost function |D|
J
sebagai berikut: |D|
J
≔ jika |D| ≤ A
|D| − A untuk lainnya 13
Semua deviasi lebih besar dari ε dikenakan pinalti sebesar C. Penetapan nilai C yang besar berarti menekankan pentingnya faktor ε dibanding faktor ketipisan
fungsi, sedangkan nilai C yang kecil berarti lebih mementingkan faktor ketipisan fungsi. Nilai ε ekuivalen dengan akurasi dari aproksimasi pada data latih. Gambar
6 menggambarkan situasi secara grafis penambahan variabel slack ξ
i
, ξ
i
untuk mengatasi pembatas yang tidak layak infeasible constraint. Hanya titik-titik
Kategori