Gravitational Search Algorithm dengan Op
Gravitational Search Algorithm dengan Operator
Disruption sebagai Optimasi pada Artificial Neural
Network untuk Klasifikasi Data
Abidatul Izzah
R.V. Hari Ginardi
Riyanarto Sarno
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
aza.syaifa@gmail.com
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
hari@its.ac.id
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
riyanarto@if.its.ac.id
Abstrak—Klasifikasi data merupakan proses pelabelan
pada suatu dataset berdasarkankan pembelajaran pada dataset
sebelumnya. Salah satu teknik untuk menyelesaikan
permasalahan ini adalah Artificial Neural Network (ANN).
Gravitational Search Algorithm (GSA) merupakan algoritma
heuristik baru yang diinspirasi dari hukum gravitasi dan hukum
perpindahan benda menuju pada posisi seimbang. Sebagai
algoritma heuristik, GSA memiliki kemampuan yang bagus
dalam pencarian global. Namun jika konvergensi terlalu dini
terjadi, algoritma ini kehilangan kemampuannya dalam
pencarian. Untuk memperbaiki kemampuan GSA, maka
ditambahkan sebuah operator baru yakni Disruption untuk lebih
mengeksplorasi solusi. Dengan kemampuannya dalam optimasi,
GSA dengan operator Disruption diusulkan sebagai algoritma
pembelajaran pada ANN. GSA digunakan untuk menentukan
bobot dan bias pada ANN untuk permasalahan klasifikasi. Hasil
yang diperoleh menunjukkan bahwa akurasi yang ditunjukkan
oleh GSA dengan operator Disruption lebih baik dari pada GSA
dan Genetic Algorithm (GA).
Keywords —ANN, Klasifikasi, Disruption, GSA
I.
PENDAHULUAN
Data Mining (DM) adalah suatu disiplin ilmu yang
melakukan pendekatan dalam analisis data dan penemuan
informasi pada dataset yang kompleks [1]. DM membutuhkan
nama/label dalam mendeskripsikan analisis komputasi.
Klasifikasi data merupakan proses pelabelan pada suatu
dataset berdasarkan pembelajaran pada dataset sebelumnya
[2]. Salah satu teknik untuk menyelesaikan permasalahan ini
adalah Artificial Neural Network (ANN). ANN adalah
algoritma yang diinspirasi dari sistem syaraf manusia, dimana
sistem syaraf manusia terdiri dari beberapa neuron yang
menerima rangsangan dari luar tubuh untuk diteruskan menuju
otak melalui dendrit. Algoritma ini merupakan algoritma
supervised learning yang yang banyak digunakan dalam
memecahkan permasalahan linear maupun non linear [3].
Gravitational Search Algorithm (GSA) merupakan
algoritma heuristik baru yang diinspirasi dari hukum gravitasi
dan hukum perpindahan benda menuju pada posisi seimbang.
Hukum gravitasi menyatakan bahwa setiap partikel yang
memiliki massa saling menarik satu sama lain. Hal ini
menyebabkan adanya perpindahan partikel menuju partikel
Prosiding Konferensi Nasional Informatika 2013
lain yang memiliki massa lebih besar. [4]. Sebagai algoritma
heuristik, GSA memiliki kemampuan yang bagus dalam
pencarian global. Namun jika konvergensi terlalu dini terjadi,
algoritma ini kehilangan kemampuannya dalam pencarian[5].
Untuk memperbaiki kemampuan GSA ditambahkan sebuah
operator baru yakni ―disruption” untuk lebih mengeksplorasi
solusi. Operator ini diinspirasi dari ilmu astronomi yakni
fenomena terjadinya guncangan pada sekumpulan partikel
yang ada dibawah pengaruh gaya gravitasi. Disrupsi gravitasi
terjadi secara tiba-tiba pada sekumpulan partikel yang berada
dalam medan gravitasi. Dalam [5] dinyatakan bahwa GSA
dengan operator disruption atau yang disebut Integrated
Gravitational Search Algorithm (IGSA) mampu memberi
hasil yang lebih baik dalam 23 masalah non linear.
Dengan kemampuannya dalam optimasi, GSA dengan
operator disruption diusulkan sebagai algoritma pembelajaran
pada ANN. GSA digunakan untuk menentukan bobot dan bias
pada ANN untuk permasalahan klasifikasi. Diharapkan hasil
yang diperoleh memberikan akurasi lebih baik dari pada GSA,
dan Genetic Algorithm (GA).
II.
METODE
A. Artificial Neural Network
ANN terinspirasi dari susunan sel syaraf (neuron)
manusia. ANN merupakan algoritma supervised learning yang
memetakan data input terhadap target output. ANN mampu
memodelkan permasalahan non linier kompleks yang sulit
dipecahkan dengan menggunakan persamaan matematis biasa.
Struktur ANN terdiri dari lapisan input, lapisan hidden, dan
lapisan output. Masing-masing node antar lapisan
dihubungkan dengan bobot dan dipengaruhi oleh bias.
Terdapat banyak macam struktur ANN. Salah satunya
adalah ANN double layer dimana terdapat satu hidden layer
yang terdiri dari beberapa neuron hidden. Contoh struktur
ANN double layer dapat dilihat pada Gambar 1. Struktur
tersebut menggambarkan ANN double layer dengan lapisan
input yang terdiri dari 3 node, hidden layer yang terdiri dari 4
node, dan satu output [3].
102
Hidden
layer
Input
layer
Output
layer
Input
Input
Output
Hukum gravitasi menyatakan bahwa setiap partikel yang
memiliki massa saling menarik satu sama lain dengan gaya
gravitasi sehingga menyebabkan perpindahan menuju massa
yang lebih besar[4].
Langkah pertama dalam GSA adalah inisialisasi N solusi
(agen) awal dengan m dimensi secara random. Posisi agen
direpresentasikan sebagai berikut[4]:
Input
w
Gambar 1. Struktur Neural Network Double Layer
B. Gravitational Search Algorithm
GSA adalah algoritma heuristik yang ditemukan oleh
Rashedi (2009). Algoritma ini diinspirasi dari fenomena alam
yakni hukum gravitasi dan tarik menarik massa. Hukum
gravitasi menyatakan bahwa setiap partikel yang memiliki
massa menarik satu sama lain dengan gaya gravitasi sehingga
menyebabkan perpindahan partikel menuju massa yang lebih
besar. Fenomena gravitasi yang menyebabkan perpindahan
suatu benda menuju keseimbangan telah diadopsi menjadi
sebuah algoritma yang disebut dengan GSA. Dalam GSA,
posisi partikel yang memiliki massa merepresentasikan solusi
permasalahan[4].
Gravitasi adalah kecenderungan sebuah benda untuk
melakukan tarik-menarik dengan benda lain yang memiliki
massa. Gaya ini adalah salah satu interaksi dasar di alam
selain gaya elektromagnetik, gaya nuklir lemah, dan gaya
nuklir kuat. Dalam hukum gravitasi Newton, setiap partikel
menarik partikel lain dengan gaya gravitasi dan percepatan
partikel ditentukan oleh gaya dan massa partikel tersebut [4].
Konsep gaya tarik menarik antar benda dapat dilihat pada
Gambar 2.
dimana i = 1, 2, …, N dan
adalah posisi agen ke-i dimensi
ke-d. Untuk setiap iterasi, total gaya interaksi setiap agen F
dengan agen yang lain dihitung dengan persamaan (1) dan (2):
dimana
adalah konstanta gravitasi pada saat t, Mi(t)
adalah massa agen i,
merupakan jarak euclid antar
agen yang dihitung dengan persamaan (3):
Update nilai G(t) yang berubah pada setiap iterasi yang
dihitung dengan persamaan (4):
dimana
adalah konstanta gravitasi pada interval
kuantum kosmik pada saat t0.
Untuk menghitung massa Mi(t) tiap agen dihitung melalui
persamaan (5) dan (6):
Agen best dan worst dipilih berdasarkan nilai fitness.
dimana jika fungsi minimasi, best(t) dan worst(t ) ditentukan
sebagai berikut:
Gambar 2. Konsep gaya tarik menarik antar partikel
Dari Gambar 2 dapat dilihat bahwa tarikan oleh massa
yang lebih besar mampu mendominasi resultan gaya yang
dialami sebuah benda (F 1 sebagai resultan gaya yang dialami
M1 menuju M3 dimana M3 adalah massa yang paling besar).
Semakin besar massa yang ditarik maka semakin besar gaya
yang dibutuhkan. Di sisi lain, jika kedua benda dipisahkan
semakin jauh, maka gaya yang ditimbulkan semakin kecil.
Prosiding Konferensi Nasional Informatika 2013
Namun, jika fungsi maksimasi ditentukan sebagai berikut:
103
Langkah selanjutnya adalah menghitung kecepatan dan
percepatan yang dialami oleh agen dengan persamaan (11) dan
(12).
Langkah terakhir adalah update posisi agen menggunakan
persamaan (13).
Prosedur ini diulang sampai batas iterasi maksimum atau
telah memenuhi kriteria tertentu [5]. Gambar 3 menunjukkan
diagram alir GSA.
Bangkitkan Populasi
Evaluasi
Update G, best, worst
Hitung M dan a
Update kecepatan dan posisi
partikel memiliki total massa (m) terlalu mendekati objek yang
sangat besar (M), sekumpulan cenderung terpisah [6].
Fenomena disrupsi dalam komputasi disimulasikan dengan
solusi terbaik (partikel dengan massa yang paling besar) yang
menjadi pusat partikel massa pada medan gravitasi. Dibawah
pengaruh gaya gravitasi tersebut, solusi-solusi yang lain
berpotensial untuk terguncang atau tersebar dalam ruang
keadaan. Untuk menjaga diversitas dan bertambahnya
kompleksitas, disruption dibatasi dengan persamaan (14).
dimana
adalah jarak euclid antara partikel i dengan
sekitarnya sedangkan
adalah jarak euclid antara partikel
i dengan best. Disrupsi terjadi ketika rasio jarak antara partikel
i dengan partikel disekitarnya (
dan jarak antara partikel i
dengan best (
kurang dari suatu ambang batas.
Berdasarkan konsep pencarian, dua solusi yang terlalu mirip
tidak berguna dalam populasi. Oleh karena itu jika jarak
tersebut terlalu dekat, operator disruption dijalankan. Gambar 4
menunjukkan diagram alir IGSA:
Bangkitkan Populasi
Evaluasi
Update G, best, worst
Hitung M dan a
Terminate ?
Update kecepatan dan posisi
Solusi terbaik
Disruption
Gambar 3. Diagram Alir GSA
C. Integrated Gravitational Search Algorithm
Sebagai algoritma heuristik, GSA memiliki kemampuan
yang bagus dalam pencarian global. Namun jika konvergensi
terlalu dini terjadi, algoritma ini kehilangan kemampuannya
dalam pencarian[5]. Untuk memperbaiki kemampuan GSA,
ditambahkan sebuah operator baru yakni disruption untuk lebih
mengeksplorasi solusi.
Disrupsi gaya gravitasi yang diinspirasi dari ilmu astronomi
merupakan fenomena terjadinya guncangan pada sekumpulan
partikel yang ada dibawah pengaruh gaya gravitasi. Disrupsi
terjadi secara tiba-tiba pada sekumpulan partikel yang berada
dalam medan gravitasi. Hal ini terjadi ketika gaya gravitasi
tidak mampu memberikan keseimbangan. Konsep astronomi
tentang gaya gravitasi menyatakan bahwa ketika sekumpulan
Prosiding Konferensi Nasional Informatika 2013
Terminate ?
Solusi terbaik
Gambar 4. Diagram Alir IGSA
Simulasi komputasi fenomena disruption dapat dilihat
sebagai berikut [5]:
104
(a) Hitung rasio jarak antara partikel i dengan partikel
disekitarnya (
dan jarak antara partikel i dengan best
(
menggunakan persamaan (14).
(b) Update posisi setiap partikel menggunakan persamaan
berikut
hidden ke layer output,
adalah bias pada layer input
dan
merupakan bias pada layer hidden. Struktur agen
dapat dilihat pada Gambar 6.
dimana
dengan
adalah bilangan acak uniform pada
interval [-0.5,0.5].
(c) Update xi(old)
Operator disruption akan mengeksplorasi dan
mengeksploitasi solusi tergantung pada nilai D. Jika nilai
sangat besar maka solusi akan dieksplorasi sedangkan
jika nilai
kecil dilakukan eksploitasi [5].
III.
Gambar 6. Struktur Agen
Fungsi aktivasi yang digunakan di hidden layer adalah
fungsi sigmoid sesuai dengan Persamaan (16).
IGSA SEBAGAI OPTIMASI PADA ANN
IGSA pada ANN digunakan sebagai metode pembelajaran
untuk menemukan bobot dan bias yang optimal. Langkah
pertama adalah melakukan preprocessing data dan membagi
data menjadi data latih dan data uji. Data tersebut kemudian
dinormalisasi sehingga bernilai pada interval [0,1]. Parameter
yang digunakan dalam ANN-IGSA adalah G, α, jumlah agen,
dan maxEpoh. Dalam paper ini, struktur jaringan yang
digunakan adalah ANN double layer dengan jumlah node input
sebanyak fitur data. Struktur jaringan ANN yang digunakan
dapat dilihat pada Gambar 5.
dimana
,
, n adalah jumlah
node input,
adalah bobot dari node i ke j,
adalah data
instance ke i fitur ke j,
adalah bias node ke-j.
Jika
adalah output dari perhitungan sebagai berikut:
dimana k= 1,2,…, m.
Sedangkan fungsi fitness yang digunakan adalah
meminimumkan nilai Minimum Square Error (MSE) yang
sesuai dengan persamaan (17).
dimana q adalah jumlah data training,
pada data training ke k, dan
Gambar 5. Struktur Jaringan
Langkah selanjutnya adalah membangkitkan agen yang
merupakan kombinasi bobot dan bias. Node i di lapisan input
dengan node j di lapisan hidden layer dihubungkan dengan
bobot wij. Sedangkan node-node di hidden layer dipengaruhi
dengan .
Pengkodean bobot dan bias yang digunakan adalah
pengkodean matriks dimana agen i menyatakan solusi ke-i
yang terdiri dari
input ke layer hidden,
merupakan bobot dari layer
adalah output ke i
IV. UJI COBA
Pada paper ini digunakan ANN dengan struktur jaringan ns-1, dengan n adalah jumlah node input dan s adalah jumlah
node pada hidden layer demana s = 3,4, dan 5. Untuk
mengetahui performa IGSA sebagai algoritma pembelajaran
pada ANN, NN-IGSA diterapkan pada masalah klasifikasi
dataset Iris, Breast Cancer, dan Wine. Parameter yang
digunakan adalah G = 100, α = 20, jumlah agen = 10, dan
maxEpoh = 100.
Nilai batas C yang digunakan berdasarkan pada persamaan
(18) sedangkan G(t) dihitung dengan persamaan (19)
adalah bobot dari layer
Prosiding Konferensi Nasional Informatika 2013
105
dengan nilai
= 100 [5].
Performa ANN-IGSA akan dibandingkan dengan ANNGSA dan ANN-GA. Parameter yang digunakan pada ANN-GA
adalah jumlah kromosom = 10, pc = 0.6, pm= 0.1, dan maxEpoh
= 100.
A. Data Uji Coba.
Data yang digunakan dalam penelitian ini adalah dataset
yang diambil dari UCI Machine Learning Repository. Dataset
yang mengandung missing value dilakukan preprocessing
dengan menghapus instance dengan missing value.
Karakteristik dataset Iris, Breast Cancer, dan Wine dapat
dilihat pada Tabel I [7].
TABEL I. KARAKTERISTIK DATASET
Dataset
Atribut
Kelas
BC
699
10
2
Iris
150
4
3
Wine
178
13
3
4
1) Uji coba klasifikasi dataset Iris dilakukan sebanyak 10
kali replika dengan parameter yang telah ditentukan. Hasil uji
coba klasifikasi pada dataset Iris menggunakan metode ANNIGSA dibandingkan dengan menggunakan metode ANNGSA, dan ANN-GA dapat dilihat pada Tabel II.
TABEL II. HASIL UJI COBA DATASET IRIS
4
5
TABEL III. HASIL UJI COBA DATASET WINE
3
B. Hasil Uji Coba
3
2) Uji coba klasifikasi dataset Wine juga dilakukan
sebanyak 10 kali replika dengan parameter yang telah
ditentukan. Hasil uji coba klasifikasi pada dataset Wine
menggunakan metode ANN-IGSA dibandingkan dengan
menggunakan metode ANN-GSA, dan ANN-GA dapat dilihat
pada Tabel III.
Neuron
Hidden
Karakterisrik
Instance
Neuron
Hidden
yang kecil. Akan tetapi ada kalanya nilai MSE didapatkan
menggunakan ANN-GA lebih rendah yakni pada uji coba
menggunakan struktur jaringan 4-5-1. Namun jika dilihat
secara rata-rata ANN-GSA memiliki performa yang bagus
pada masing-masing neuron hidden dan menghasilkan MSE
terkecil pada struktur 4-3-1 dan 4-4-1.
5
Mean Square Error
Metode
Mean
St. Dev
Best
ANN – IGSA
0.097711
0.019344
0.066901
ANN – GSA
0.108804
0.027424
0.073944
ANN – GA
0.162501
0.108604
0.072183
ANN – IGSA
0.102641
0.027313
0.079225
ANN – GSA
0.146478
0.054060
0.102110
ANN – GA
0.188908
0.069937
0.089789
ANN – IGSA
0.074648
0.028427
0.042254
ANN – GSA
0.120773
0.033917
0.088028
ANN – GA
0.134154
0.095551
0.058099
Mean Square Error
Metode
Mean
St. Dev
Best
ANN – IGSA
0.021041
0.009940
0.004166
ANN – GSA
0.035416
0.029084
0.012500
ANN – GA
0.026666
0.010883
0.012500
ANN – IGSA
0.020416
0.010476
0.008333
ANN – GSA
0.021458
0.006518
0.012500
ANN - GA
0.021875
0.009278
0.012500
ANN – IGSA
0.018124
0.003809
0.012500
ANN – GSA
0.045416
0.076740
0.010417
ANN - GA
0.031458
0.012821
0.006250
Dari hasil tersebut, dapat dilihat bahwa rata-rata nilai
MSE paling kecil dari 10 replikasi diperoleh menggunakan
metode ANN-IGSA pada setiap neuron hidden yang berbeda.
Nilai simpangan baku dari replikasi tersebut juga relatif kecil,
sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
Prosiding Konferensi Nasional Informatika 2013
Dari hasil tersebut, dapat dilihat bahwa rata-rata nilai
MSE paling kecil dari 10 replikasi diperoleh menggunakan
metode ANN-IGSA pada setiap neuron hidden yang berbeda.
Nilai simpangan baku dari replikasi tersebut juga relatif kecil,
sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
yang kecil. Selain itu ANN-IGSA juga menghasilkan MSE
terkecil pada masing-masing neuron hidden. Hal ini
menunjukkan bahwa ANN-IGSA memberika performa yang
bagus jika dibandingkan dengan yang lain.
3) Uji coba klasifikasi dataset Breast Cancer dilakukan
sebanyak 10 kali replika dengan parameter yang telah
ditentukan. Hasil uji coba klasifikasi pada dataset Breast
Cancer menggunakan metode ANN-IGSA dibandingkan
dengan menggunakan metode ANN-GSA, dan ANN-GA
dapat dilihat pada Tabel IV.
Dari hasil klasifikasi dataset Breast Cancer tidak terlalu
berbeda dengan sebelumnya bahwa rata-rata nilai MSE paling
kecil dari 10 replikasi diperoleh menggunakan metode ANNIGSA pada setiap neuron hidden yang berbeda. Nilai
simpangan baku dari replikasi tersebut juga relatif kecil,
sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
106
yang kecil. Selain itu ANN-IGSA juga menghasilkan MSE
terkecil pada masing-masing neuron hidden. Hal ini
menunjukkan bahwa ANN-IGSA memberika performa yang
bagus jika dibandingkan dengan yang lain.
TABEL IV. HASIL UJI COBA DATASET BREAST CANCER
Neuron
Hidden
3
4
5
DAFTAR PUSTAKA
[1]
[2]
Mean Square Error
Metode
Mean
St. Dev
Best
ANN – IGSA
0.027289
0.003166
0.023810
ANN – GSA
0.044322
0.026184
0.027473
ANN - GA
0.029487
0.001351
0.027473
ANN – IGSA
0.025641
0.001726
0.023810
ANN – GSA
0.030952
0.007743
0.025641
ANN - GA
0.027106
0.000772
0.025641
ANN – IGSA
0.026373
0.002149
0.023810
ANN – GSA
0.027289
0.002356
0.025641
ANN - GA
0.027289
0.000579
0.025641
Prosiding Konferensi Nasional Informatika 2013
[3]
[4]
[5]
[6]
[7]
Yeh, W. ―Novel swarm optimization for mining classification rules on
thyroid gland data‖, Information Sciences, Vol. 197, pp. 65–76,
February 2012
Mastrogiannis, N., Boutsinasa, B., Giannikos, I., ―A method for
improving the accuracy of data mining classification algorithms‖,
Computers & Operations Research, Vol. 36, pp. 2829–2839, October
2009
Dias, F., Antunes, A., Mota A., ―Artificial neural networks: a review of
commercial hardware‖, Engineering Applications of Artificial
Intelligence, Vol. 17, December 2004, pp. 945–952
Rashedi, E., Nezamabadi-pour, H., Saryazdi, S., ―GSA: A Gravitational
Search Algorithm”, Information Science, Vol. 179, pp. 2232–2248,
March 2009
Sarafrazi S., Nezamabadi-pour∗ H., Saryazdi S. ―Disruption: A new
operator in gravitational search algorithm‖, Scientia Iranica D, Vol.
18(3), pp. 539–548, February 2011
Harwit, M. The Astrophysical Concepts, 3rd ed., NewYork (1998)
http://archive.ics.uci.edu/ml/datasets.html
Diakses tanggal 1 September 2013
107
Disruption sebagai Optimasi pada Artificial Neural
Network untuk Klasifikasi Data
Abidatul Izzah
R.V. Hari Ginardi
Riyanarto Sarno
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
aza.syaifa@gmail.com
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
hari@its.ac.id
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
riyanarto@if.its.ac.id
Abstrak—Klasifikasi data merupakan proses pelabelan
pada suatu dataset berdasarkankan pembelajaran pada dataset
sebelumnya. Salah satu teknik untuk menyelesaikan
permasalahan ini adalah Artificial Neural Network (ANN).
Gravitational Search Algorithm (GSA) merupakan algoritma
heuristik baru yang diinspirasi dari hukum gravitasi dan hukum
perpindahan benda menuju pada posisi seimbang. Sebagai
algoritma heuristik, GSA memiliki kemampuan yang bagus
dalam pencarian global. Namun jika konvergensi terlalu dini
terjadi, algoritma ini kehilangan kemampuannya dalam
pencarian. Untuk memperbaiki kemampuan GSA, maka
ditambahkan sebuah operator baru yakni Disruption untuk lebih
mengeksplorasi solusi. Dengan kemampuannya dalam optimasi,
GSA dengan operator Disruption diusulkan sebagai algoritma
pembelajaran pada ANN. GSA digunakan untuk menentukan
bobot dan bias pada ANN untuk permasalahan klasifikasi. Hasil
yang diperoleh menunjukkan bahwa akurasi yang ditunjukkan
oleh GSA dengan operator Disruption lebih baik dari pada GSA
dan Genetic Algorithm (GA).
Keywords —ANN, Klasifikasi, Disruption, GSA
I.
PENDAHULUAN
Data Mining (DM) adalah suatu disiplin ilmu yang
melakukan pendekatan dalam analisis data dan penemuan
informasi pada dataset yang kompleks [1]. DM membutuhkan
nama/label dalam mendeskripsikan analisis komputasi.
Klasifikasi data merupakan proses pelabelan pada suatu
dataset berdasarkan pembelajaran pada dataset sebelumnya
[2]. Salah satu teknik untuk menyelesaikan permasalahan ini
adalah Artificial Neural Network (ANN). ANN adalah
algoritma yang diinspirasi dari sistem syaraf manusia, dimana
sistem syaraf manusia terdiri dari beberapa neuron yang
menerima rangsangan dari luar tubuh untuk diteruskan menuju
otak melalui dendrit. Algoritma ini merupakan algoritma
supervised learning yang yang banyak digunakan dalam
memecahkan permasalahan linear maupun non linear [3].
Gravitational Search Algorithm (GSA) merupakan
algoritma heuristik baru yang diinspirasi dari hukum gravitasi
dan hukum perpindahan benda menuju pada posisi seimbang.
Hukum gravitasi menyatakan bahwa setiap partikel yang
memiliki massa saling menarik satu sama lain. Hal ini
menyebabkan adanya perpindahan partikel menuju partikel
Prosiding Konferensi Nasional Informatika 2013
lain yang memiliki massa lebih besar. [4]. Sebagai algoritma
heuristik, GSA memiliki kemampuan yang bagus dalam
pencarian global. Namun jika konvergensi terlalu dini terjadi,
algoritma ini kehilangan kemampuannya dalam pencarian[5].
Untuk memperbaiki kemampuan GSA ditambahkan sebuah
operator baru yakni ―disruption” untuk lebih mengeksplorasi
solusi. Operator ini diinspirasi dari ilmu astronomi yakni
fenomena terjadinya guncangan pada sekumpulan partikel
yang ada dibawah pengaruh gaya gravitasi. Disrupsi gravitasi
terjadi secara tiba-tiba pada sekumpulan partikel yang berada
dalam medan gravitasi. Dalam [5] dinyatakan bahwa GSA
dengan operator disruption atau yang disebut Integrated
Gravitational Search Algorithm (IGSA) mampu memberi
hasil yang lebih baik dalam 23 masalah non linear.
Dengan kemampuannya dalam optimasi, GSA dengan
operator disruption diusulkan sebagai algoritma pembelajaran
pada ANN. GSA digunakan untuk menentukan bobot dan bias
pada ANN untuk permasalahan klasifikasi. Diharapkan hasil
yang diperoleh memberikan akurasi lebih baik dari pada GSA,
dan Genetic Algorithm (GA).
II.
METODE
A. Artificial Neural Network
ANN terinspirasi dari susunan sel syaraf (neuron)
manusia. ANN merupakan algoritma supervised learning yang
memetakan data input terhadap target output. ANN mampu
memodelkan permasalahan non linier kompleks yang sulit
dipecahkan dengan menggunakan persamaan matematis biasa.
Struktur ANN terdiri dari lapisan input, lapisan hidden, dan
lapisan output. Masing-masing node antar lapisan
dihubungkan dengan bobot dan dipengaruhi oleh bias.
Terdapat banyak macam struktur ANN. Salah satunya
adalah ANN double layer dimana terdapat satu hidden layer
yang terdiri dari beberapa neuron hidden. Contoh struktur
ANN double layer dapat dilihat pada Gambar 1. Struktur
tersebut menggambarkan ANN double layer dengan lapisan
input yang terdiri dari 3 node, hidden layer yang terdiri dari 4
node, dan satu output [3].
102
Hidden
layer
Input
layer
Output
layer
Input
Input
Output
Hukum gravitasi menyatakan bahwa setiap partikel yang
memiliki massa saling menarik satu sama lain dengan gaya
gravitasi sehingga menyebabkan perpindahan menuju massa
yang lebih besar[4].
Langkah pertama dalam GSA adalah inisialisasi N solusi
(agen) awal dengan m dimensi secara random. Posisi agen
direpresentasikan sebagai berikut[4]:
Input
w
Gambar 1. Struktur Neural Network Double Layer
B. Gravitational Search Algorithm
GSA adalah algoritma heuristik yang ditemukan oleh
Rashedi (2009). Algoritma ini diinspirasi dari fenomena alam
yakni hukum gravitasi dan tarik menarik massa. Hukum
gravitasi menyatakan bahwa setiap partikel yang memiliki
massa menarik satu sama lain dengan gaya gravitasi sehingga
menyebabkan perpindahan partikel menuju massa yang lebih
besar. Fenomena gravitasi yang menyebabkan perpindahan
suatu benda menuju keseimbangan telah diadopsi menjadi
sebuah algoritma yang disebut dengan GSA. Dalam GSA,
posisi partikel yang memiliki massa merepresentasikan solusi
permasalahan[4].
Gravitasi adalah kecenderungan sebuah benda untuk
melakukan tarik-menarik dengan benda lain yang memiliki
massa. Gaya ini adalah salah satu interaksi dasar di alam
selain gaya elektromagnetik, gaya nuklir lemah, dan gaya
nuklir kuat. Dalam hukum gravitasi Newton, setiap partikel
menarik partikel lain dengan gaya gravitasi dan percepatan
partikel ditentukan oleh gaya dan massa partikel tersebut [4].
Konsep gaya tarik menarik antar benda dapat dilihat pada
Gambar 2.
dimana i = 1, 2, …, N dan
adalah posisi agen ke-i dimensi
ke-d. Untuk setiap iterasi, total gaya interaksi setiap agen F
dengan agen yang lain dihitung dengan persamaan (1) dan (2):
dimana
adalah konstanta gravitasi pada saat t, Mi(t)
adalah massa agen i,
merupakan jarak euclid antar
agen yang dihitung dengan persamaan (3):
Update nilai G(t) yang berubah pada setiap iterasi yang
dihitung dengan persamaan (4):
dimana
adalah konstanta gravitasi pada interval
kuantum kosmik pada saat t0.
Untuk menghitung massa Mi(t) tiap agen dihitung melalui
persamaan (5) dan (6):
Agen best dan worst dipilih berdasarkan nilai fitness.
dimana jika fungsi minimasi, best(t) dan worst(t ) ditentukan
sebagai berikut:
Gambar 2. Konsep gaya tarik menarik antar partikel
Dari Gambar 2 dapat dilihat bahwa tarikan oleh massa
yang lebih besar mampu mendominasi resultan gaya yang
dialami sebuah benda (F 1 sebagai resultan gaya yang dialami
M1 menuju M3 dimana M3 adalah massa yang paling besar).
Semakin besar massa yang ditarik maka semakin besar gaya
yang dibutuhkan. Di sisi lain, jika kedua benda dipisahkan
semakin jauh, maka gaya yang ditimbulkan semakin kecil.
Prosiding Konferensi Nasional Informatika 2013
Namun, jika fungsi maksimasi ditentukan sebagai berikut:
103
Langkah selanjutnya adalah menghitung kecepatan dan
percepatan yang dialami oleh agen dengan persamaan (11) dan
(12).
Langkah terakhir adalah update posisi agen menggunakan
persamaan (13).
Prosedur ini diulang sampai batas iterasi maksimum atau
telah memenuhi kriteria tertentu [5]. Gambar 3 menunjukkan
diagram alir GSA.
Bangkitkan Populasi
Evaluasi
Update G, best, worst
Hitung M dan a
Update kecepatan dan posisi
partikel memiliki total massa (m) terlalu mendekati objek yang
sangat besar (M), sekumpulan cenderung terpisah [6].
Fenomena disrupsi dalam komputasi disimulasikan dengan
solusi terbaik (partikel dengan massa yang paling besar) yang
menjadi pusat partikel massa pada medan gravitasi. Dibawah
pengaruh gaya gravitasi tersebut, solusi-solusi yang lain
berpotensial untuk terguncang atau tersebar dalam ruang
keadaan. Untuk menjaga diversitas dan bertambahnya
kompleksitas, disruption dibatasi dengan persamaan (14).
dimana
adalah jarak euclid antara partikel i dengan
sekitarnya sedangkan
adalah jarak euclid antara partikel
i dengan best. Disrupsi terjadi ketika rasio jarak antara partikel
i dengan partikel disekitarnya (
dan jarak antara partikel i
dengan best (
kurang dari suatu ambang batas.
Berdasarkan konsep pencarian, dua solusi yang terlalu mirip
tidak berguna dalam populasi. Oleh karena itu jika jarak
tersebut terlalu dekat, operator disruption dijalankan. Gambar 4
menunjukkan diagram alir IGSA:
Bangkitkan Populasi
Evaluasi
Update G, best, worst
Hitung M dan a
Terminate ?
Update kecepatan dan posisi
Solusi terbaik
Disruption
Gambar 3. Diagram Alir GSA
C. Integrated Gravitational Search Algorithm
Sebagai algoritma heuristik, GSA memiliki kemampuan
yang bagus dalam pencarian global. Namun jika konvergensi
terlalu dini terjadi, algoritma ini kehilangan kemampuannya
dalam pencarian[5]. Untuk memperbaiki kemampuan GSA,
ditambahkan sebuah operator baru yakni disruption untuk lebih
mengeksplorasi solusi.
Disrupsi gaya gravitasi yang diinspirasi dari ilmu astronomi
merupakan fenomena terjadinya guncangan pada sekumpulan
partikel yang ada dibawah pengaruh gaya gravitasi. Disrupsi
terjadi secara tiba-tiba pada sekumpulan partikel yang berada
dalam medan gravitasi. Hal ini terjadi ketika gaya gravitasi
tidak mampu memberikan keseimbangan. Konsep astronomi
tentang gaya gravitasi menyatakan bahwa ketika sekumpulan
Prosiding Konferensi Nasional Informatika 2013
Terminate ?
Solusi terbaik
Gambar 4. Diagram Alir IGSA
Simulasi komputasi fenomena disruption dapat dilihat
sebagai berikut [5]:
104
(a) Hitung rasio jarak antara partikel i dengan partikel
disekitarnya (
dan jarak antara partikel i dengan best
(
menggunakan persamaan (14).
(b) Update posisi setiap partikel menggunakan persamaan
berikut
hidden ke layer output,
adalah bias pada layer input
dan
merupakan bias pada layer hidden. Struktur agen
dapat dilihat pada Gambar 6.
dimana
dengan
adalah bilangan acak uniform pada
interval [-0.5,0.5].
(c) Update xi(old)
Operator disruption akan mengeksplorasi dan
mengeksploitasi solusi tergantung pada nilai D. Jika nilai
sangat besar maka solusi akan dieksplorasi sedangkan
jika nilai
kecil dilakukan eksploitasi [5].
III.
Gambar 6. Struktur Agen
Fungsi aktivasi yang digunakan di hidden layer adalah
fungsi sigmoid sesuai dengan Persamaan (16).
IGSA SEBAGAI OPTIMASI PADA ANN
IGSA pada ANN digunakan sebagai metode pembelajaran
untuk menemukan bobot dan bias yang optimal. Langkah
pertama adalah melakukan preprocessing data dan membagi
data menjadi data latih dan data uji. Data tersebut kemudian
dinormalisasi sehingga bernilai pada interval [0,1]. Parameter
yang digunakan dalam ANN-IGSA adalah G, α, jumlah agen,
dan maxEpoh. Dalam paper ini, struktur jaringan yang
digunakan adalah ANN double layer dengan jumlah node input
sebanyak fitur data. Struktur jaringan ANN yang digunakan
dapat dilihat pada Gambar 5.
dimana
,
, n adalah jumlah
node input,
adalah bobot dari node i ke j,
adalah data
instance ke i fitur ke j,
adalah bias node ke-j.
Jika
adalah output dari perhitungan sebagai berikut:
dimana k= 1,2,…, m.
Sedangkan fungsi fitness yang digunakan adalah
meminimumkan nilai Minimum Square Error (MSE) yang
sesuai dengan persamaan (17).
dimana q adalah jumlah data training,
pada data training ke k, dan
Gambar 5. Struktur Jaringan
Langkah selanjutnya adalah membangkitkan agen yang
merupakan kombinasi bobot dan bias. Node i di lapisan input
dengan node j di lapisan hidden layer dihubungkan dengan
bobot wij. Sedangkan node-node di hidden layer dipengaruhi
dengan .
Pengkodean bobot dan bias yang digunakan adalah
pengkodean matriks dimana agen i menyatakan solusi ke-i
yang terdiri dari
input ke layer hidden,
merupakan bobot dari layer
adalah output ke i
IV. UJI COBA
Pada paper ini digunakan ANN dengan struktur jaringan ns-1, dengan n adalah jumlah node input dan s adalah jumlah
node pada hidden layer demana s = 3,4, dan 5. Untuk
mengetahui performa IGSA sebagai algoritma pembelajaran
pada ANN, NN-IGSA diterapkan pada masalah klasifikasi
dataset Iris, Breast Cancer, dan Wine. Parameter yang
digunakan adalah G = 100, α = 20, jumlah agen = 10, dan
maxEpoh = 100.
Nilai batas C yang digunakan berdasarkan pada persamaan
(18) sedangkan G(t) dihitung dengan persamaan (19)
adalah bobot dari layer
Prosiding Konferensi Nasional Informatika 2013
105
dengan nilai
= 100 [5].
Performa ANN-IGSA akan dibandingkan dengan ANNGSA dan ANN-GA. Parameter yang digunakan pada ANN-GA
adalah jumlah kromosom = 10, pc = 0.6, pm= 0.1, dan maxEpoh
= 100.
A. Data Uji Coba.
Data yang digunakan dalam penelitian ini adalah dataset
yang diambil dari UCI Machine Learning Repository. Dataset
yang mengandung missing value dilakukan preprocessing
dengan menghapus instance dengan missing value.
Karakteristik dataset Iris, Breast Cancer, dan Wine dapat
dilihat pada Tabel I [7].
TABEL I. KARAKTERISTIK DATASET
Dataset
Atribut
Kelas
BC
699
10
2
Iris
150
4
3
Wine
178
13
3
4
1) Uji coba klasifikasi dataset Iris dilakukan sebanyak 10
kali replika dengan parameter yang telah ditentukan. Hasil uji
coba klasifikasi pada dataset Iris menggunakan metode ANNIGSA dibandingkan dengan menggunakan metode ANNGSA, dan ANN-GA dapat dilihat pada Tabel II.
TABEL II. HASIL UJI COBA DATASET IRIS
4
5
TABEL III. HASIL UJI COBA DATASET WINE
3
B. Hasil Uji Coba
3
2) Uji coba klasifikasi dataset Wine juga dilakukan
sebanyak 10 kali replika dengan parameter yang telah
ditentukan. Hasil uji coba klasifikasi pada dataset Wine
menggunakan metode ANN-IGSA dibandingkan dengan
menggunakan metode ANN-GSA, dan ANN-GA dapat dilihat
pada Tabel III.
Neuron
Hidden
Karakterisrik
Instance
Neuron
Hidden
yang kecil. Akan tetapi ada kalanya nilai MSE didapatkan
menggunakan ANN-GA lebih rendah yakni pada uji coba
menggunakan struktur jaringan 4-5-1. Namun jika dilihat
secara rata-rata ANN-GSA memiliki performa yang bagus
pada masing-masing neuron hidden dan menghasilkan MSE
terkecil pada struktur 4-3-1 dan 4-4-1.
5
Mean Square Error
Metode
Mean
St. Dev
Best
ANN – IGSA
0.097711
0.019344
0.066901
ANN – GSA
0.108804
0.027424
0.073944
ANN – GA
0.162501
0.108604
0.072183
ANN – IGSA
0.102641
0.027313
0.079225
ANN – GSA
0.146478
0.054060
0.102110
ANN – GA
0.188908
0.069937
0.089789
ANN – IGSA
0.074648
0.028427
0.042254
ANN – GSA
0.120773
0.033917
0.088028
ANN – GA
0.134154
0.095551
0.058099
Mean Square Error
Metode
Mean
St. Dev
Best
ANN – IGSA
0.021041
0.009940
0.004166
ANN – GSA
0.035416
0.029084
0.012500
ANN – GA
0.026666
0.010883
0.012500
ANN – IGSA
0.020416
0.010476
0.008333
ANN – GSA
0.021458
0.006518
0.012500
ANN - GA
0.021875
0.009278
0.012500
ANN – IGSA
0.018124
0.003809
0.012500
ANN – GSA
0.045416
0.076740
0.010417
ANN - GA
0.031458
0.012821
0.006250
Dari hasil tersebut, dapat dilihat bahwa rata-rata nilai
MSE paling kecil dari 10 replikasi diperoleh menggunakan
metode ANN-IGSA pada setiap neuron hidden yang berbeda.
Nilai simpangan baku dari replikasi tersebut juga relatif kecil,
sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
Prosiding Konferensi Nasional Informatika 2013
Dari hasil tersebut, dapat dilihat bahwa rata-rata nilai
MSE paling kecil dari 10 replikasi diperoleh menggunakan
metode ANN-IGSA pada setiap neuron hidden yang berbeda.
Nilai simpangan baku dari replikasi tersebut juga relatif kecil,
sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
yang kecil. Selain itu ANN-IGSA juga menghasilkan MSE
terkecil pada masing-masing neuron hidden. Hal ini
menunjukkan bahwa ANN-IGSA memberika performa yang
bagus jika dibandingkan dengan yang lain.
3) Uji coba klasifikasi dataset Breast Cancer dilakukan
sebanyak 10 kali replika dengan parameter yang telah
ditentukan. Hasil uji coba klasifikasi pada dataset Breast
Cancer menggunakan metode ANN-IGSA dibandingkan
dengan menggunakan metode ANN-GSA, dan ANN-GA
dapat dilihat pada Tabel IV.
Dari hasil klasifikasi dataset Breast Cancer tidak terlalu
berbeda dengan sebelumnya bahwa rata-rata nilai MSE paling
kecil dari 10 replikasi diperoleh menggunakan metode ANNIGSA pada setiap neuron hidden yang berbeda. Nilai
simpangan baku dari replikasi tersebut juga relatif kecil,
sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
106
yang kecil. Selain itu ANN-IGSA juga menghasilkan MSE
terkecil pada masing-masing neuron hidden. Hal ini
menunjukkan bahwa ANN-IGSA memberika performa yang
bagus jika dibandingkan dengan yang lain.
TABEL IV. HASIL UJI COBA DATASET BREAST CANCER
Neuron
Hidden
3
4
5
DAFTAR PUSTAKA
[1]
[2]
Mean Square Error
Metode
Mean
St. Dev
Best
ANN – IGSA
0.027289
0.003166
0.023810
ANN – GSA
0.044322
0.026184
0.027473
ANN - GA
0.029487
0.001351
0.027473
ANN – IGSA
0.025641
0.001726
0.023810
ANN – GSA
0.030952
0.007743
0.025641
ANN - GA
0.027106
0.000772
0.025641
ANN – IGSA
0.026373
0.002149
0.023810
ANN – GSA
0.027289
0.002356
0.025641
ANN - GA
0.027289
0.000579
0.025641
Prosiding Konferensi Nasional Informatika 2013
[3]
[4]
[5]
[6]
[7]
Yeh, W. ―Novel swarm optimization for mining classification rules on
thyroid gland data‖, Information Sciences, Vol. 197, pp. 65–76,
February 2012
Mastrogiannis, N., Boutsinasa, B., Giannikos, I., ―A method for
improving the accuracy of data mining classification algorithms‖,
Computers & Operations Research, Vol. 36, pp. 2829–2839, October
2009
Dias, F., Antunes, A., Mota A., ―Artificial neural networks: a review of
commercial hardware‖, Engineering Applications of Artificial
Intelligence, Vol. 17, December 2004, pp. 945–952
Rashedi, E., Nezamabadi-pour, H., Saryazdi, S., ―GSA: A Gravitational
Search Algorithm”, Information Science, Vol. 179, pp. 2232–2248,
March 2009
Sarafrazi S., Nezamabadi-pour∗ H., Saryazdi S. ―Disruption: A new
operator in gravitational search algorithm‖, Scientia Iranica D, Vol.
18(3), pp. 539–548, February 2011
Harwit, M. The Astrophysical Concepts, 3rd ed., NewYork (1998)
http://archive.ics.uci.edu/ml/datasets.html
Diakses tanggal 1 September 2013
107