ANALISIS PREDIKSI DROP OUT BERDASARKAN P
ANALISIS PREDIKSI DROP OUT BERDASARKAN PERILAKU
SOSIAL MAHASISWA DALAM EDUCATIONAL DATA MINING
MENGGUNAKAN JARINGAN SYARAF TIRUAN
M. Mahaputra Hidayat1, Diana Purwitasari2, Hari Ginardi3
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
[email protected], [email protected], [email protected]
ABSTRAK
Peningkatan kualitas pendidikan di perguruan tinggi dapat dilihat dari tingginya tingkat keberhasilan
mahasiswa dan rendahnya tingkat kegagalan mahasiswa. Salah satu indikator kegagalan mahasiswa adalah
kasus drop out (berhenti studi). Permasalahan drop out menjadi sesuatu yang menarik untuk diteliti, karena
hal ini dapat dipengaruhi oleh bermacam faktor. Banyak peneliti yang mengkaji maupun melakukan prediksi
drop out berdasarkan faktor internal saja yaitu yang berasal dari dalam diri mahasiswa. Padahal selain faktor
tersebut banyak faktor lain yang juga dapat mempengaruhi terjadinya drop out, salah satunya perilaku sosial
mahasiswa. Namun tidak mudah menentukan dan mempelajari classifier yang tepat berdasarkan perilaku
sosial mahasiswa untuk memprediksi kemungkinan drop out ini. Untuk mengatasi permasalahan di atas,
diusulkan model baru untuk mempelajari arsitektur Jaringan Syaraf Tiruan (JST) terbaik, agar menghasilkan
classifier yang tepat dalam melakukan prediksi drop out dengan memanfaatkan data mining pendidikan serta
pendekatan JST backpropagation pada penelitian ini. Hasil yang diperoleh dari analisis perilaku sosial dan
model yang diusulkan, menunjukkan bahwa penggunaan data perilaku sosial mahasiswa dapat meningkatkan
akurasi kemungkinan klasifikasi drop out sebesar 98,91% dengan tingkat signifikansi sensitivitas terbesar
variabel perilaku sosial sebesar 4,737.
Kata Kunci: Prediksi drop-out, educational data mining, jaringan syaraf tiruan
ABSTRACT
Improvement of education quality in university can be seen by the highness rate of success student and the
lowness rate of failed student. One indicator of failed student is drop out. The drop out problem is interesting
to be studied, because it can be affected from many factors. Many researchers study and predict the drop out
by internal factor only, which comes from the student themselves. Whereas there are many factors besides
the internal factor that can trigger drop out, such as student social behavior. However, it is a non trivial task
to determine and learn the correct classifier based on the student social behavior to predict drop out
probability. To overcome that problem, a new model is proposed in this research to study the correct
classifier that can predict drop out using educational data mining with neural network approach. The result
from this analysis of social behavior and the proposed method is be able to show that the use of student
behavior data can increase the drop out prediction accuracy of 98,91% and the sensitivity of social
behaviour variable of 4,737.
Keywords: Drop out prediction, educational data mining, neural network.
PENDAHULUAN
Perguruan tinggi sering dijadikan tumpuan utama masyarakat dalam menilai berhasil
tidaknya pendidikan tertinggi. Keberhasilan atau prestasi belajar mahasiswa hanya sering dilihat
sebagai kesuksesan dan keunggulan pihak perguruan tinggi. Sebaliknya, kegagalan atau rendahnya
kualitas mahasiswa sering dilihat sebagai ketidakmampuan pihak perguruan tinggi
menyelenggarakan proses pendidikan tertinggi. Salah satu persoalan yang masih menjadi bahan
pembicaraan adalah mengenai mahasiswa berhenti studi (drop out). Tingginya tingkat keberhasilan
mahasiswa dan rendahnya tingkat kegagalan mahasiswa dapat mencerminkan kualitas dari suatu
perguruan tinggi.
Banyaknya mahasiswa drop-out selain merugikan bagi pribadi/individu, juga merugikan
institusi/perguruan tinggi pada khusus-nya dan negara pada umumnya. Oleh karena itu, perlu
dilakukan kajian maupun prediksi terhadap faktor-faktor yang mempengaruhi mahasiswa drop-out
sehingga dapat dijadikan informasi yang bermanfaat bagi keberhasilan pendidikan di perguruan
tinggi.
Salah satu teknik yang dapat digunakan untuk kasus prediksi adalah Jaringan Syaraf Tiruan
(JST). JST akan melakukan pembelajaran untuk membentuk suatu model referensi berdasarkan
data pelatihan, kemudian JST yang telah melakukan pembelajaran tersebut dapat digunakan untuk
pencocokan pola [1]. Keunggulan dari JST adalah kemampuan klasifikasi terhadap data yang
belum diberikan pada saat pembelajaran sebelumnya [2].
Permasalahan drop-out ini banyak menarik perhatian para peneliti untuk melakukan
penelitian mengenai kegagalan siswa maupun kegagalan sekolah. Dekker [3] melakukan komparasi
algoritma Decision tree, Bayesian classifiers, logistic models, rule-based learner dan random
forest dengan menggunakan 648 data set mahasiswa untuk melakukan prediksi drop-out. Dalam
penelitian tersebut decision tree menunjukkan tingkat akurasi yang paling tinggi. Pada tahun yang
sama, penelitian mengenai faktor-faktor yang mempengaruhi drop-out mahasiswa UPN “Veteran”
Jawa Timur juga dilakukan [4]. Hasil penelitian tersebut menunjukkan bahwa faktor intelegensia
mahasiswa dan penghasilan orang tua memiliki pengaruh yang signifikan terhadap kasus drop-out
di perguruan tinggi tersebut. Hastuti [5] juga melakukan penelitian tentang analisis klasifikasi data
mining untuk prediksi mahasiswa non-aktif di Universitas Dian Nuswantoro dengan
membandingkan empat algoritma yaitu logistic regression, decision tree, naive bayes, dan neural
network. Penelitian tersebut menunjukkan bahwa decision tree merupakan algoritma yang paling
akurat, namun demikian decision tree tidak dominan terhadap algoritma yang lain. Berdasarkan
hasil penelitian tersebut juga, logistic regression, decision tree, naïve bayes dan neural network
masuk dalam kategori excellent classification.
Dari beberapa penelitian yang telah diuraikan sebelumnya, faktor yang banyak digunakan
untuk memprediksi potensi drop-out mahasiswa adalah nilai akademis, kinerja mahasiswa, dan
sosio-demographic mahasiswa, yang mana semua faktor tersebut berasal dari internal mahasiswa.
Padahal faktor lainnya juga memiliki pengaruh yang signifikan terhadap prediksi potensi drop-out
mahasiswa, salah satunya faktor perilaku sosial [6]. Oleh karena itu pada penelitian ini diusulkan
model baru untuk mempelajari arsitektur Jaringan Syaraf Tiruan (JST) terbaik, agar menghasilkan
classifier yang tepat dalam melakukan prediksi drop out berdasarkan perilaku sosial mahasiswa
dengan memanfaatkan data mining pendidikan serta pendekatan JST backpropagation.
TINJAUAN PUSTAKA
1. Perilaku Sosial
Perilaku sosial seseorang itu tampak dalam pola respons antar orang yang dinyatakan
dengan hubungan timbal balik antar pribadi. Perilaku sosial juga identik dengan reaksi seseorang
terhadap orang lain [7]. Perilaku itu ditunjukkan dengan perasaan, tindakan, sikap keyakinan,
kenangan, atau rasa hormat terhadap orang lain. Perilaku sosial seseorang merupakan sifat relatif
untuk menanggapi orang lain dengan cara-cara yang berbeda-beda. Misalnya dalam melakukan
kerja sama, ada orang yang melakukannya dengan tekun, sabar dan selalu mementingkan
kepentingan bersama diatas kepentingan pribadinya. Sementara di pihak lain, ada orang yang
bermalas-malasan, tidak sabaran dan hanya ingin mencari untung sendiri. Tabel 1 merupakan
contoh perilaku sosial manusia.
Tabel 1. Contoh Perilaku Sosial Manusia [7]
Faktor pembentuk
Perilaku dan karakteristik
Proses kognitif
Lingkungan
Tatar Budaya
Contoh Perilaku sosial
Interaksi bergaul, kerja tim
Sharing ide, pendapat
Menjadi pemimpin bagi orang lain
Logat bahasa, gaya hidup
Kemampuan beradapatasi di lingkungan baru
2. Educational Data Mining
Educational Data Mining (EDM) adalah bidang ilmu baru yang mengeksploitasi statistik,
machine-learning, dan algoritma data-mining (DM) untuk berbagai jenis data pendidikan. Tujuan
utamanya adalah untuk menganalisis jenis data dalam menyelesaikan masalah-masalah penelitian
pendidikan [8]. EDM berkaitan dengan pengembangan metode untuk mengeksplorasi jenis data
yang unik dalam pengaturan pendidikan. Metode ini digunakan untuk memahami siswa lebih baik
dan pengaturan di mana mereka belajar [9]. Beberapa algoritma DM yang umum digunakan adalah
Decision Tree, CART (Classification & Regression Trees), CHAID (Chi Square Automatic
Interaction Detector), Neural Networks, KNN (K-Nearest Neighbors), Genetic Algorithm, dan
sebagainya.
Pada Gambar 1 ditunjukkan diagram yang menggambarkan aliran informasi dalam proses
data mining [10]. Proses data mining pada gambar tersebut ditunjukkan sebagai proses yang
iteratif. Hasil evaluasi pengetahuan yang dihasilkan data mining dapat menimbulkan kebutuhan
pengetahuan yang lebih lengkap, perbaikan kumpulan data (dataset) atau perubahan pada sistem.
Gambar 1. Aliran Informasi dalam Data Mining
.
3.
Jaringan Syaraf Tiruan
Neural Networks (Artificial Neural Networks atau Jaringan Saraf Tiruan) merupakan
sebuah metode softcomputing atau data mining yang banyak digunakan untuk melakukan
pengklasifikasian dan prediksi. Artificial Neural Networks (ANN) pertama kali dikembangkan oleh
McCulloch dan Pitts pada tahun 1943, dan sekarang ini telah banyak dikembangkan menjadi
bentuk ANN yang bermacam-macam. Perubahan bentuk ini dapat berupa perubahan activation
function, topology, learning algorithm dan lain-lain. Pada penelitian ini digunakan JST
backpropagation.
3.1. Algoritma Backpropagation
Salah satu algoritma yang sering digunakan dalam melakukan learning terhadap ANN
adalah backpropagation algorithm. Algoritma ini dikembangkan oleh Rumelhart dan McClelland
pada tahun 1986. Sebuah neural networks umumnya terdiri dari input, output dan hidden layer.
Dalam algoritma Backpropagation, proses learning dilaksanakan, pertama melakukan proses feed
forward dengan mengirimkan sinyal ‘forward’. Adapun proses yang dilakukan dalam feed forward
ini untuk sebuah neuron dijabarkan dalam gambar 2.
Gambar 2. Activation of single neuron
Algoritma backpropagation terdiri dari arah maju dan arah balik seperti berikut ini:
Tahap 0: pembobotan awal (set ke nilai random serendah mungkin), set harga error minimal.
Tahap 1 : Ketika kondisi stop, false, lakukan tahap 2-9.
Tahap 2 : Untuk setiap pasangan training, lakukan tahap 3-8.
Feedforward :
Tahap 3 : tiap unit masukan (𝑋𝑖 , 𝑖 = 1, … , 𝑛), menerima sinyal 𝑥𝑖 dan menyebarkan sinyal ke
seluruh lapis tersembunyi (hidden layer).
Tahap 4 : tiap unit tersembunyi 𝑍𝑗 , 𝑗 = 1, … , 𝑝), jumlahkan bobot sinyal inputnya,
𝑝
(1)
𝑍𝑖𝑛𝑗 = 𝑣𝑜𝑗 + ∑𝑖=1 𝑥𝑖 𝑣𝑖𝑗 ,
Terapkan fungsi aktivasi untuk menghitung sinyal keluarannya, 𝑍𝑗 = 𝑓(𝑧𝑖𝑛𝑗 ), dan mengirimkan
sinyal ini ke seluruh unit lapis di atasnya (lapis output).
Tahap 5 : tiap unit keluaran (𝑌𝑘 , 𝑘 = 1, … , 𝑚), jumlahkan bobot sinyal keluarannya,
𝑦𝑖𝑛𝑘 = 𝑤𝑜𝑘 + ∑𝑚
(2)
𝑗=1 𝑥𝑗 𝑤𝑗𝑘 ,
Sedangkan untuk cascade:
𝑓
𝑌𝑖𝑛𝑘 = 𝑤𝑜𝑘 + ∑𝑚
(3)
𝑗=1 𝑥𝑗 𝑤𝑗𝑘 + ∑𝑖=1 𝑥𝑖 𝑤𝑖𝑗
Terapkan fungsi aktivasi untuk menghitung sinyal keluarannya,
𝑦𝑘 = 𝑓(𝑧𝑖𝑛𝑘 ).
(4)
Backpropagation Error:
Tahap 6 : tiap unit keluaran 𝑌𝑘 , 𝑘 = 1, … , 𝑚), menerima pola target dan mengacu ke target
masukan, hitung kesalahannya
𝛿𝑘 = (𝑡𝑘 − 𝑦𝑘 )𝑓 ′ (𝑦𝑖𝑛𝑘 ),
(5)
Hitung koreksi bobot,
∆𝑤𝑗𝑘 = 𝛼𝛿𝑘𝑧𝑗 ,
(6)
Hitung koreksi terhadap bias,
∆𝑤𝑜𝑘 = 𝛼𝛿𝑘 ,
(7)
Dan mengirimkan sinyal tersebut ke lapis sebelumnya (mundur).
Tahap 7 : tiap unit tersembunyi (𝑍𝑗 , 𝑗 = 1, … , 𝑝), menjumlahkan delta masukan dari lapis
diatasnya.
𝛿𝑖𝑛𝑗 = ∑𝑚
(8)
𝑘=1 𝛿𝑘 𝑤𝑗𝑘 ,
Dan hitung bobot koreksinya,
∆𝑣𝑖𝑗 = 𝛼𝛿𝑗𝑥𝑖 ,
(9)
Dan hitung koreksi biasnya,
∆𝑣𝑜𝑗 = 𝛼𝛿𝑗 ,
(10)
Update bobot dan bias:
Tahap 8 : tiap unit keluaran (𝑌𝑘 , 𝑘 = 1, … , 𝑚), update bias dan bobot-bobotnya (𝑗 = 0, … , 𝑝):
𝑤𝑗𝑘 (𝑛𝑒𝑤) = 𝑤𝑗𝑘 (𝑜𝑙𝑑) + ∆𝑤𝑗𝑘 ,
(11)
Tiap unit tersembunyi (𝑍𝑗 , 𝑗 = 1, … , 𝑝), update bias dan bobotnya 𝑖 = 0, … , 𝑛):
𝑣𝑖𝑗 (𝑛𝑒𝑤) = 𝑣𝑖𝑗 (𝑜𝑙𝑑) + ∆𝑤𝑖𝑗 ,
(12)
Tahap 9 : Uji kondisi berhenti.
𝑖𝑓 𝛿𝑘 < harga error set awal then “stop training”.
4.
Generalisasi
Dalam penelitian ini digunakan parameter yang disebut generalisasi untuk mengukur
tingkat pengenalan jaringan pada pola yang diberikan. Dimana pola yang diberikan adalah data
validasi maupun data testing. Generalisasi yang digunakan dalam [11] adalah sebagai berikut :
𝐺𝑒𝑛𝑒𝑟𝑎𝑙𝑖𝑠𝑎𝑠𝑖𝑡𝑒𝑠𝑡 =
𝑛𝑢𝑚𝑘𝑒𝑛𝑎𝑙𝑡𝑒𝑠𝑡
𝑥100
𝑗𝑢𝑚𝑝𝑜𝑙𝑎
(13)
dimana 𝑛𝑢𝑚𝑘𝑒𝑛𝑎𝑙𝑡𝑒𝑠𝑡 adalah jumlah pola yang dikenal dan 𝑗𝑢𝑚𝑝𝑜𝑙𝑎 adalah jumlah pola
keseluruhan. Jumlah 𝑛𝑢𝑚𝑘𝑒𝑛𝑎𝑙𝑡𝑒𝑠𝑡 dan 𝑗𝑢𝑚𝑝𝑜𝑙𝑎 yang ditunjukkan akan berbeda pada setiap
model prediksi.
5. Analisis Sensitivitas
Analisis sensitivitas bertujuan untuk melihat perubahan output dari model yang didapatkan
jika dilakukan perubahan terhadap input dari model. Selain itu analisa ini berguna untuk
mengetahui variabel mana yang lebih berpengaruh atau sensitif untuk mencapai output akurat dari
model yang dikembangkan [12].
𝑝
Untuk mengetahui sensitivitas dari 𝑆𝑘𝑖 dimana JST yang digunakan memiliki 1 layer input
𝑍 = (𝑍1 , … , 𝑍𝑖 , … 𝑍𝐼 ), 1 layer tersembunyi 𝑌 = (𝑌1 , … 𝑌𝑗 , … 𝑌𝐽 ), dan 1 layer output 𝑂 =
(𝑂1 , … 𝑂𝑘 , … 𝑂𝐾 ) dan data training adalah 𝑃 = (𝑃1 , … 𝑃𝑝 , … 𝑃𝑃 ) digunakan :
𝑝
𝑆𝑘𝑖 = 𝑂′𝑘 + ∑𝐽𝑗=1 𝑤𝑘𝑗 𝑦′𝑗 𝑣𝑗𝑖
(14)
Untuk mendapatkan matrik sensitivitas dari semua data training terhadap output dapat digunakan :
𝑝
𝑝
𝑆𝑘𝑖 𝑚𝑎𝑥 = max{𝑆𝑘𝑖 } , 𝑝 = 1, … 𝑃
(15)
kemudian dilanjutkan dengan menghitung matrik sensitivitas dari input secara menyeluruh dapat
digunakan :
(16)
∅𝑖 = max{𝑆𝑘𝑖 } , 𝑘 = 1, … 𝐾
METODE PENELITIAN
Pada bagian ini akan dijelaskan mengenai tahap-tahap dalam penelitian untuk memperoleh
model JST dengan arsitektur terbaik, yaitu preprocessing data, pengujian dan prediksi. Data
pendidikan mahasiswa yang digunakan dalam penelitian ini diperoleh dari sistem akademik
mahasiswa (SIAMIK) UPN “Veteran” Jawa Timur dan Universitas Bhayangkara (UBHARA)
Surabaya. Yaitu sebanyak 204 sampel mahasiswa teknik informatika semester 2 dan 6. Sedangkan
data perilaku sosial mahasiswa diperoleh dengan cara membagikan kuisioner kepada sampel
mahasiswa tersebut untuk kemudian diisi sesuai dengan pilihan yang ada. Dataset yang digunakan
dalam penelitian ini dikomposisikan dalam dua kelompok data (KD) yang dapat dilihat pada Tabel
2 dan Tabel 3.
Tabel 2. Kelompok Data Pertama
Kategori
Non DO
DO
Jumlah
Data
training
(50%)
70
32
102
Data yang digunakan
Data
Data
validasi testing
(25%)
(25%)
35
35
16
16
51
51
Jumlah
140
64
204
Tabel 3. Kelompok data Kedua
Kategori
Non DO
DO
Jumlah
Data
training
(70%)
98
44
142
Data yang digunakan
Data
Data
validasi
testing
(15%)
(15%)
21
21
10
10
31
31
Jumlah
140
64
204
Preparation data
Pada langkah data preparation pengolahan data terdiri dari 2 poin: seleksi data dan
transformasi data. Tujuan dari seleksi data adalah untuk mengidentifikasi variabel-variabel yang
relevan digunakan dalam penelitian ini. Sedangkan transformasi data adalah untuk mengubah
dataset sehingga konten informasi terbaik diambil untuk dimasukkan pada tool mining dalam
format yang tepat. Pada langkah ini, ditentukan atribut-atribut yang akan mendukung variabel
input. Tabel 4 menunjukkan hasil identifikasi variabel-variabel yang digunakan sebagai input data
berdasarkan parameter individu, parameter akademik, dan parameter sosial mahasiswa.
Tabel 4. Variabel Input
Parameter
Individu
Akademik
Sosial
Variabel
relevan
Nama
Nilai yang mungkin
String (optional)
Umur
Numerik (18-27 tahun)
Jen_kel
Kategorikal (Pria, wanita)
Alamat
String (optional)
Jarak_tinggal
Numerik (1-60 Km)
Status_tinggal
Kategorikal (kos, BO)
Status_nikah
Kategorikal (ya, tidak)
Status_kerja
Kategorikal (bekerja, tidak)
Pend_ibu
Kategorikal (tidak, sekolah, sarjana)
Status_peki
Kategorikal (bekerja, tidak)
Pend_ayah
Kategorikal (tidak, sekolah, sarjana)
Status_Peka
Kategorikal (bekerja, tidak)
Jum_kel
Numerik (2-15 orang)
Motivasi
Kategorikal (sendiri, orang tua)
Waktu_bel
Numerik (0-24 jam)
Internet_rumah
Kategorikal (ya atau tidak)
Handphone
Kategorikal (jarang, sering)
Studi_lanjut
Kategorikal (ya, tidak)
Kesehatan
Kategorikal (sedikit, luang)
Absensi
Numerik (0-31 hari)
Sks
Numerik (10-160 sks)
Ipk
Numerik (0-4,0)
Semester
Numerik (II, VI)
Beasiswa
Kategorikal (ya, tidak)
Int_dos
Kategorikal (buruk, biasa, bagus)
Int_tem
Kategorikal (buruk, biasa, bagus)
Hub_kel
Kategorikal (buruk, biasa, bagus)
Waktu_bebas
Kategorikal (sedikit, luang)
Preprocessing data
Langkah berikutnya adalah preprocessing, yaitu untuk menangani data yang bersifat noise
dan missing value data. Dengan pembersihan dan pengintegrasian, data noise dan informasi yang
tidak relevan dari dataset akan berkurang. Di dalam preprocessing dilakukan cleaning data yaitu
proses yang digunakan untuk menghapus data ganda, memeriksa data yang tidak konsisten,
penanganan data missing dan merapikan data noise, dan transformasi data yaitu mengubah data ke
dalam model analitik.
Unary Encoding merupakan metode transformasi data dengan mempresentasikan data
kategorikal dalam bentuk kombinasi angka 1 dan 0 (numerical binary variable). Misalnya atribut
jenis kelamin yang mempunyai 2 kategori maka akan diganti dengan 2 (dua) atribut bilangan biner
yaitu pria dan wanita. Jika atribut jenis kelamin menunjukkan pria, maka nilai atribut pria 1 dan
wanita 0. Dan jika atribut jenis kelamin menunjukkan menunjukkan wanita, maka nilai atribut pria
0 dan wanita 1. Tabel 5 dan 6 merupakan salah satu contoh atribut kategorikal, yaitu variabel jenis
kelamin yang ditransformasi menjadi numerical binary variable.
Tabel 5. Atribut biner jenis kelamin
Jenis Kelamin
Pria
Wanita
Biner Pria
1
0
Biner Wanita
0
1
Tabel 6. Hasil transformasi
Jenis Kelamin
Pria
Wanita
Wanita
Wanita
Pria
Pria
Nilai
10
01
01
01
10
10
Kemudian sebelum dilaksanakan input data dan data target ke dalam JST, pertama harus
dilakukan normalisasi data untuk variabel numerik. Normalisasi adalah salah satu dari beberapa
teknik dalam data transformasi, yang mengubah data asli ke dalam jangkauan datanya antara 0 dan
1 sesuai dengan fungsi aktivasi yang akan digunakan.
Dalam penelitian ini digunakan rumus normalisasi data max-min sebagai berikut :
𝐴−𝐴𝑚𝑖𝑛
𝑁𝑜𝑟𝑚𝑎𝑙𝑖𝑠𝑎𝑠𝑖 =
(17)
𝐴𝑚𝑎𝑥 −𝐴𝑚𝑖𝑛
dimana:
𝐴
: atribut nilai input
𝐴𝑚𝑎𝑥 : bobot nilai maksimum
𝐴𝑚𝑖𝑛 : bobot nilai minimum
Pengujian
Pada tahap ini, setelah data siap untuk dimasukkan dalam JST, dilakukan pengujian dengan
menggunakan variasi arsitektur yang ditentukan pada Tabel 7. Kemudian akan dibandingkan
hasilnya dan dipilih arsitektur JST yang terbaik untuk sistem prediksi.
Tabel 7. Struktur JST yang Digunakan
Karakteristik
Arsitektur
Neuron input
Hidden node
Fungsi pelatihan
Neuron layer output
Toleransi galat
Learning rate
Maksimum epoch
Spesifikasi
1 hidden layer
Iterasi pertama 50 node, iterasi selanjutnya
berdasarkan hasil proses seleksi variable
input menggunakan analisis sensitivitas
5, 10, 15
Resilent backpropagation, levenbergmarquardt
2
0,001
0.01, 0.05, 0.1, 0.5
2000
Arsitektur JST yang telah diberi pembelajaran dan diuji kemudian dianalisis sensitivitas
node-node inputnya menggunakan analisis sensitivitas yang telah dibahas pada subbab
sebelumnya. Hasil yang diharapkan dari proses ini adalah didapatkan node-node input yang
memiliki sensitivitas rendah, sehingga tidak akan digunakan kembali pada tahap pembelajaran
selanjutnya. Proses ini akan berulang terus sampai didapatkan nilai sensitivitas dari masing-masing
node yang cukup tinggi. Jaringan dengan arsitektur terbaik inilah yang siap untuk digunakan dalam
sistem prediksi kemungkinan drop-out mahasiswa berdasarkan perilaku sosialnya.
HASIL DAN PEMBAHASAN
Serangkaian uji coba dilakukan untuk mengevaluasi sistem yang diusulkan. Digunakannya
variasi parameter jaringan dalam proses pembelajaran dan pengujian dimaksudkan untuk
mendapatkan parameter terbaik dari model JST yang kemudian digunakan untuk melakukan
prediksi drop-out mahasiswa, dengan membandingkan hasil percobaan pelatihan dan
pengujian pada dua kelompok data dan fungsi pelatihan yang berbeda, dimana pada masing-masing
kelompok data, hasil percobaan memberikan informasi waktu pembelajaran tercepat, nilai MSE
terkecil, dan generalisasi data validasi dan data testing tertinggi, parameter laju pembelajaran (lr)
dan jumlah hidden-node.
Berdasarkan hasil pembelajaran dan pengujian berulang pada Tabel 8 terlihat bahwa
waktu pembelajaran tercepat 0.06 detik, dihasilkan oleh pembelajaran pada kelompok data
pertama dengan variasi fungsi pelatihan levenberg-marquardt pada laju pembelajaran 0.1 dan
jumlah hidden-node 5. Nilai MSE terkecil dan tingkat generalisasi tertinggi dari data
validasi dan data testing dihasilkan oleh pembelajaran kelompok data kedua dengan variasi fungsi
pelatihan levenberg-marquardt, laju pembelajaran 0.1 dan jumlah hidden node 10.
Tabel 8. Hasil Pembelajaran dan Pengujian Terbaik
Variasi
Kelompok data pertama
Kelompok data kedua
waktu
MSE
Fungsi
Pelatihan
Resilent BP
lr
0.08
0.0000103
Data
Validasi
98.86
Data waktu
MSE
Data
Data
Testing
Validasi Testing
98.88
0.14 0.0000038 98.48
98.64
0.5
0.1
0.1
0.1
Hidden node
Fungsi
Pelatihan
levenbergmarquardt
lr
Hidden node
5
0.06
5
0.0000106
5
98.86
5
98.77
0.1
5
0.1
5
0.1
5
0.1
5
0.1
0.5
0.01
5
5
5
0.06 0.00000026 98.89
0.5
5
0.1
10
0.5
5
0.1
5
98.91
0.5
5
Hasil pembelajaran dan pengujian menunjukkan adanya perbaikan nilai yang
dihasilkan oleh percobaan dengan menggunakan beberapa variasi fungsi pelatihan. Nilai
waktu pembelajaran, MSE dan tingkat generalisasi dari data validasi dan data testing yang
dihasilkan oleh percobaan dengan fungsi pelatihan resilent backpropagation terus diperbaiki
bobotnya hingga menghasilkan waktu pembelajaran yang lebih cepat, nilai MSE yang lebih
minimum dan tingkat akurasi yang lebih tinggi pada percobaan dengan fungsi levenbergmarquardt. Berdasarkan hasil generalisasi pada pengujian dengan mempertimbangkan beberapa
variasi parameter jaringan, maka ditetapkan arsitektur terbaik yang dapat digunakan untuk
melakukan prediksi tingkat kelulusan mahasiswa adalah sebagaimana yang ditunjukkan oleh Tabel
9.
Tabel 9. Parameter Jaringan Terbaik untuk Prediksi
Parameter
Kelompok Data
Model JST untuk
prediksi
Kedua
Fungsi Pelatihan
Levenberg-marquardt
Learning rate
0.1
Jumlah hidden node
5
Generalisasi data validasi
98.89%
Generalisasi data testing
98.91%
Selanjutnya dilakukan proses analisis sensitivitas terhadap JST dengan performa terbaik
yang menghasilkan ranking variabel input dari yang terendah sampai yang tertinggi. Hasil analisis
sensitivitas setelah dilakukan iterasi berulang dapat dilihat pada Tabel 10 yang menunjukkan
bahwa variabel input yang memiliki tingkat sensitivitas paling tinggi untuk kelompok data pertama
adalah ‘kualitas hubungan antar mahasiswa’ dengan skor 4.737 (ranking 1), dan terendah ‘waktu
belajar’ dengan skor 0.579 (ranking 14). Sedangkan untuk kelompok data kedua, nilai sensitivitas
tertinggi dicapai oleh variabel input ‘kualitas hubungan antar mahasiswa’ dengan skor 4.595
(ranking 1) dan terendah ‘interaksi dengan dosen’ dengan skor 0.649 (ranking 14). Sensitivitas
pada semua variabel menunjukkan hasil yang cukup besar sehingga proses iterasi pembelajaran
dihentikan.
Tabel 10. Hasil Analisis Sensitivitas Iterasi Berulang
Sensitivitas
No
Variabel
KD 1
KD 2
Angka
Ranking
Angka
Ranking
1
2
3
Umur
Jarak
Pend_ibu
0.774
0.753
0.604
11
12
13
0.851
0.872
1.334
12
11
9
4
5
6
Pend_ayah
Status_Peka
Jum_kel
1.202
1.326
1.620
9
8
7
0.954
1.643
1.474
10
7
8
7
8
9
10
Hub_kel
Motivasi
Waktu_bel
Studi_lanjut
3.152
3.377
0.579
2.045
3
2
14
6
3.453
4.013
0.767
2.254
3
2
13
6
11
12
13
14
Sks
Ipk
Int_dos
Int_teman
2.243
2.165
0.846
4.737
4
5
10
1
2.620
2.372
0.649
4.595
5
4
14
1
Setelah semua proses uji coba dilakukan, didapatkan arsitektur JST terbaik yang siap untuk
dikembangkan menjadi sistem prediksi drop-out mahasiswa yang handal. Sebagai tahap terakhir
perlu dilakukan pengujian arsitektur terbaik terhadap sebagian data validasi dan data testing yang
dimaksudkan untuk menguji ketepatan jaringan dalam melakukan prediksi sebelum digunakan
untuk melakukan prediksi pada data baru yang akan diberikan. Data validasi dan data testing akan
diuji tanpa memiliki data target, sehingga target hasil prediksi yang dihasilkan akan dibandingkan
dengan data aktual. Hasil proses pengujian dengan menggunakan data validasi dan data testing
pada model prediksi kemungkinan drop-out disajikan oleh Tabel 11.
Tabel 11. Pengujian dengan Menggunakan Arsitektur Terbaik untuk Prediksi
Data
Data
Validasi
%
Data
testing
%
Jumlah data
31
31
Pengenalan data
Dikenal
Tidak dikenal
31
0
100
0
29
2
93.54
6.46
Data hasil prediksi
Drop-out
Non drop-out
10
21
100
100
9
20
90
95.23
Data aktual
Drop-out
Non drop-out
10
21
100
100
10
21
100
100
Berdasarkan pengujian arsitektur terbaik terhadap data validasi dan data testing untuk
model prediksi drop-out menunjukkan bahwa data dikenali 100% pada data validasi dan 93.54%
pada data testing. Hasil prediksi menggunakan data validasi menyatakan bahwa mahasiswa yang
diprediksi drop-out berjumlah 10 mahasiswa dan non drop-out 21 mahasiswa, dan data kategori
aktual menunjukkan hal yang sama. Prediksi terhadap data testing menyatakan bahwa mahasiswa
yang diprediksi non drop-out sebanyak 20 dan drop-out hanya 9 mahasiswa, berbeda dengan data
aktual yang menyatakan bahwa mahasiswa yang drop-out berjumlah 10 mahasiswa dan non dropout 21 mahasiswa.
KESIMPULAN
Hasil uji coba menunjukkan bahwa, model yang diusulkan dapat digunakan untuk
predikasi potensi drop-out mahasiswa. Arsitektur dan parameter jaringan terbaik yang diperoleh
yaitu menggunakan komposisi kelompok data kedua, dengan fungsi pelatihan levenbergmarquardt, laju pembelajaran 0.1, 5 hidden node, generalisasi data validasi dan data testing sebesar
98.89% dan 98,91%. Hasil analisis sensitivitas menunjukkan variabel input untuk parameter sosial
yang paling berpengaruh adalah kualitas interaksi dengan teman dan variabel hubungan keluarga.
Sedangkan variabel input untuk parameter individu adalah studi_lanjut dan motivasi. Untuk
parameter akademik, variabel input yang paling berpengaruh adalah SKS dan IPK.
DAFTAR PUSTAKA
[1].
[2].
[3].
[4].
[5].
[6].
[7].
[8].
[9].
[10].
[11].
[12].
Kusumadewi S, Hartati S. 2010. Neuro-Fuzzy. Integrasi Sistem Fuzzy & Jaringan Syaraf.
Yogyakarta. Graha Ilmu.
Han J, Kamber M. 2001. Data Mining : Concepts and Techniques. USA :
Academic Press.
G. W. Dekker, M. Pechenizkiy, and J. M. Vleeshouwers. 2009. Predicting students drop
out: A case study. In EDM: Proceedings of the 2nd International Conference On
Educational Data Mining. Cordoba, Spain., pages 41-50.
Hertati, D. 2009. Faktor-Faktor Yang Mempengaruhi Putus Studi (Drop Out) Mahasiswa
Universitas Pembangunan Nasional "Veteran" Jawa Timur
(Tugas Akhir tidak
dipublikasikan). Universitas Pembangunan Nasional “Veteran” Jawa timur.
Hastuti K. 2012. Analisis Komparasi Algoritma Klasifikasi Data Mining Untuk Prediksi
Mahasiswa Non Aktif. Seminar Nasional Teknologi Informasi & Komunikasi Terapan 2012
(Semantik 2012).
B. Jaroslav, B. Hana, G. Jan, O. Tomas, P. Lubomir. 2012. Predicting drop-out from
social behaviour of students. EDM2012: Proceedings ofthe 5th International Conference on
Educational Data Mining. Eindhoven, the Netherlands., pages 103-109.
www.educationaldatamining.org.
Baron, Byrne, Nyla. 2006. Social Psychology. Erlangga.
C. Romero, S. Ventura, M. Pechenizkiy, and R. Baker. 2010. Handbook of Educational
Data Mining. New York: Taylor & Francis.
R. Baker and K. Yacef. 2010. The state of educational data mining in 2009: A review and
future visions. Journal of Educational Data Mining, 1(1):3-17.
Nilakant, K. 2004. Applicationof Data Mining in Constraint Based Intelligent Tutoring
System,
www.cosc.canterbury.ac.nz/research/reports/HonsReps/2004/hons_0408.pdf,
diakses tanggal 28 Juni 2013.
Agustini K. 2006. Perbandingan Metode Transformasi Wavelet Sebagai Praproses Pada
Sistem Identifikasi Pembicara. [Thesis]. Bogor : Program Pascasarjana, Institut
Pertanian Bogor.
Engelbrecht AP. 2001. Sensitivity Analysis for Selective Learning by Feedforward
Neural Networks. J Fundamental Informatics. Vol. XXI:1001-1028. IOS Press.
SOSIAL MAHASISWA DALAM EDUCATIONAL DATA MINING
MENGGUNAKAN JARINGAN SYARAF TIRUAN
M. Mahaputra Hidayat1, Diana Purwitasari2, Hari Ginardi3
Jurusan Teknik Informatika
Institut Teknologi Sepuluh Nopember
Surabaya, Indonesia
[email protected], [email protected], [email protected]
ABSTRAK
Peningkatan kualitas pendidikan di perguruan tinggi dapat dilihat dari tingginya tingkat keberhasilan
mahasiswa dan rendahnya tingkat kegagalan mahasiswa. Salah satu indikator kegagalan mahasiswa adalah
kasus drop out (berhenti studi). Permasalahan drop out menjadi sesuatu yang menarik untuk diteliti, karena
hal ini dapat dipengaruhi oleh bermacam faktor. Banyak peneliti yang mengkaji maupun melakukan prediksi
drop out berdasarkan faktor internal saja yaitu yang berasal dari dalam diri mahasiswa. Padahal selain faktor
tersebut banyak faktor lain yang juga dapat mempengaruhi terjadinya drop out, salah satunya perilaku sosial
mahasiswa. Namun tidak mudah menentukan dan mempelajari classifier yang tepat berdasarkan perilaku
sosial mahasiswa untuk memprediksi kemungkinan drop out ini. Untuk mengatasi permasalahan di atas,
diusulkan model baru untuk mempelajari arsitektur Jaringan Syaraf Tiruan (JST) terbaik, agar menghasilkan
classifier yang tepat dalam melakukan prediksi drop out dengan memanfaatkan data mining pendidikan serta
pendekatan JST backpropagation pada penelitian ini. Hasil yang diperoleh dari analisis perilaku sosial dan
model yang diusulkan, menunjukkan bahwa penggunaan data perilaku sosial mahasiswa dapat meningkatkan
akurasi kemungkinan klasifikasi drop out sebesar 98,91% dengan tingkat signifikansi sensitivitas terbesar
variabel perilaku sosial sebesar 4,737.
Kata Kunci: Prediksi drop-out, educational data mining, jaringan syaraf tiruan
ABSTRACT
Improvement of education quality in university can be seen by the highness rate of success student and the
lowness rate of failed student. One indicator of failed student is drop out. The drop out problem is interesting
to be studied, because it can be affected from many factors. Many researchers study and predict the drop out
by internal factor only, which comes from the student themselves. Whereas there are many factors besides
the internal factor that can trigger drop out, such as student social behavior. However, it is a non trivial task
to determine and learn the correct classifier based on the student social behavior to predict drop out
probability. To overcome that problem, a new model is proposed in this research to study the correct
classifier that can predict drop out using educational data mining with neural network approach. The result
from this analysis of social behavior and the proposed method is be able to show that the use of student
behavior data can increase the drop out prediction accuracy of 98,91% and the sensitivity of social
behaviour variable of 4,737.
Keywords: Drop out prediction, educational data mining, neural network.
PENDAHULUAN
Perguruan tinggi sering dijadikan tumpuan utama masyarakat dalam menilai berhasil
tidaknya pendidikan tertinggi. Keberhasilan atau prestasi belajar mahasiswa hanya sering dilihat
sebagai kesuksesan dan keunggulan pihak perguruan tinggi. Sebaliknya, kegagalan atau rendahnya
kualitas mahasiswa sering dilihat sebagai ketidakmampuan pihak perguruan tinggi
menyelenggarakan proses pendidikan tertinggi. Salah satu persoalan yang masih menjadi bahan
pembicaraan adalah mengenai mahasiswa berhenti studi (drop out). Tingginya tingkat keberhasilan
mahasiswa dan rendahnya tingkat kegagalan mahasiswa dapat mencerminkan kualitas dari suatu
perguruan tinggi.
Banyaknya mahasiswa drop-out selain merugikan bagi pribadi/individu, juga merugikan
institusi/perguruan tinggi pada khusus-nya dan negara pada umumnya. Oleh karena itu, perlu
dilakukan kajian maupun prediksi terhadap faktor-faktor yang mempengaruhi mahasiswa drop-out
sehingga dapat dijadikan informasi yang bermanfaat bagi keberhasilan pendidikan di perguruan
tinggi.
Salah satu teknik yang dapat digunakan untuk kasus prediksi adalah Jaringan Syaraf Tiruan
(JST). JST akan melakukan pembelajaran untuk membentuk suatu model referensi berdasarkan
data pelatihan, kemudian JST yang telah melakukan pembelajaran tersebut dapat digunakan untuk
pencocokan pola [1]. Keunggulan dari JST adalah kemampuan klasifikasi terhadap data yang
belum diberikan pada saat pembelajaran sebelumnya [2].
Permasalahan drop-out ini banyak menarik perhatian para peneliti untuk melakukan
penelitian mengenai kegagalan siswa maupun kegagalan sekolah. Dekker [3] melakukan komparasi
algoritma Decision tree, Bayesian classifiers, logistic models, rule-based learner dan random
forest dengan menggunakan 648 data set mahasiswa untuk melakukan prediksi drop-out. Dalam
penelitian tersebut decision tree menunjukkan tingkat akurasi yang paling tinggi. Pada tahun yang
sama, penelitian mengenai faktor-faktor yang mempengaruhi drop-out mahasiswa UPN “Veteran”
Jawa Timur juga dilakukan [4]. Hasil penelitian tersebut menunjukkan bahwa faktor intelegensia
mahasiswa dan penghasilan orang tua memiliki pengaruh yang signifikan terhadap kasus drop-out
di perguruan tinggi tersebut. Hastuti [5] juga melakukan penelitian tentang analisis klasifikasi data
mining untuk prediksi mahasiswa non-aktif di Universitas Dian Nuswantoro dengan
membandingkan empat algoritma yaitu logistic regression, decision tree, naive bayes, dan neural
network. Penelitian tersebut menunjukkan bahwa decision tree merupakan algoritma yang paling
akurat, namun demikian decision tree tidak dominan terhadap algoritma yang lain. Berdasarkan
hasil penelitian tersebut juga, logistic regression, decision tree, naïve bayes dan neural network
masuk dalam kategori excellent classification.
Dari beberapa penelitian yang telah diuraikan sebelumnya, faktor yang banyak digunakan
untuk memprediksi potensi drop-out mahasiswa adalah nilai akademis, kinerja mahasiswa, dan
sosio-demographic mahasiswa, yang mana semua faktor tersebut berasal dari internal mahasiswa.
Padahal faktor lainnya juga memiliki pengaruh yang signifikan terhadap prediksi potensi drop-out
mahasiswa, salah satunya faktor perilaku sosial [6]. Oleh karena itu pada penelitian ini diusulkan
model baru untuk mempelajari arsitektur Jaringan Syaraf Tiruan (JST) terbaik, agar menghasilkan
classifier yang tepat dalam melakukan prediksi drop out berdasarkan perilaku sosial mahasiswa
dengan memanfaatkan data mining pendidikan serta pendekatan JST backpropagation.
TINJAUAN PUSTAKA
1. Perilaku Sosial
Perilaku sosial seseorang itu tampak dalam pola respons antar orang yang dinyatakan
dengan hubungan timbal balik antar pribadi. Perilaku sosial juga identik dengan reaksi seseorang
terhadap orang lain [7]. Perilaku itu ditunjukkan dengan perasaan, tindakan, sikap keyakinan,
kenangan, atau rasa hormat terhadap orang lain. Perilaku sosial seseorang merupakan sifat relatif
untuk menanggapi orang lain dengan cara-cara yang berbeda-beda. Misalnya dalam melakukan
kerja sama, ada orang yang melakukannya dengan tekun, sabar dan selalu mementingkan
kepentingan bersama diatas kepentingan pribadinya. Sementara di pihak lain, ada orang yang
bermalas-malasan, tidak sabaran dan hanya ingin mencari untung sendiri. Tabel 1 merupakan
contoh perilaku sosial manusia.
Tabel 1. Contoh Perilaku Sosial Manusia [7]
Faktor pembentuk
Perilaku dan karakteristik
Proses kognitif
Lingkungan
Tatar Budaya
Contoh Perilaku sosial
Interaksi bergaul, kerja tim
Sharing ide, pendapat
Menjadi pemimpin bagi orang lain
Logat bahasa, gaya hidup
Kemampuan beradapatasi di lingkungan baru
2. Educational Data Mining
Educational Data Mining (EDM) adalah bidang ilmu baru yang mengeksploitasi statistik,
machine-learning, dan algoritma data-mining (DM) untuk berbagai jenis data pendidikan. Tujuan
utamanya adalah untuk menganalisis jenis data dalam menyelesaikan masalah-masalah penelitian
pendidikan [8]. EDM berkaitan dengan pengembangan metode untuk mengeksplorasi jenis data
yang unik dalam pengaturan pendidikan. Metode ini digunakan untuk memahami siswa lebih baik
dan pengaturan di mana mereka belajar [9]. Beberapa algoritma DM yang umum digunakan adalah
Decision Tree, CART (Classification & Regression Trees), CHAID (Chi Square Automatic
Interaction Detector), Neural Networks, KNN (K-Nearest Neighbors), Genetic Algorithm, dan
sebagainya.
Pada Gambar 1 ditunjukkan diagram yang menggambarkan aliran informasi dalam proses
data mining [10]. Proses data mining pada gambar tersebut ditunjukkan sebagai proses yang
iteratif. Hasil evaluasi pengetahuan yang dihasilkan data mining dapat menimbulkan kebutuhan
pengetahuan yang lebih lengkap, perbaikan kumpulan data (dataset) atau perubahan pada sistem.
Gambar 1. Aliran Informasi dalam Data Mining
.
3.
Jaringan Syaraf Tiruan
Neural Networks (Artificial Neural Networks atau Jaringan Saraf Tiruan) merupakan
sebuah metode softcomputing atau data mining yang banyak digunakan untuk melakukan
pengklasifikasian dan prediksi. Artificial Neural Networks (ANN) pertama kali dikembangkan oleh
McCulloch dan Pitts pada tahun 1943, dan sekarang ini telah banyak dikembangkan menjadi
bentuk ANN yang bermacam-macam. Perubahan bentuk ini dapat berupa perubahan activation
function, topology, learning algorithm dan lain-lain. Pada penelitian ini digunakan JST
backpropagation.
3.1. Algoritma Backpropagation
Salah satu algoritma yang sering digunakan dalam melakukan learning terhadap ANN
adalah backpropagation algorithm. Algoritma ini dikembangkan oleh Rumelhart dan McClelland
pada tahun 1986. Sebuah neural networks umumnya terdiri dari input, output dan hidden layer.
Dalam algoritma Backpropagation, proses learning dilaksanakan, pertama melakukan proses feed
forward dengan mengirimkan sinyal ‘forward’. Adapun proses yang dilakukan dalam feed forward
ini untuk sebuah neuron dijabarkan dalam gambar 2.
Gambar 2. Activation of single neuron
Algoritma backpropagation terdiri dari arah maju dan arah balik seperti berikut ini:
Tahap 0: pembobotan awal (set ke nilai random serendah mungkin), set harga error minimal.
Tahap 1 : Ketika kondisi stop, false, lakukan tahap 2-9.
Tahap 2 : Untuk setiap pasangan training, lakukan tahap 3-8.
Feedforward :
Tahap 3 : tiap unit masukan (𝑋𝑖 , 𝑖 = 1, … , 𝑛), menerima sinyal 𝑥𝑖 dan menyebarkan sinyal ke
seluruh lapis tersembunyi (hidden layer).
Tahap 4 : tiap unit tersembunyi 𝑍𝑗 , 𝑗 = 1, … , 𝑝), jumlahkan bobot sinyal inputnya,
𝑝
(1)
𝑍𝑖𝑛𝑗 = 𝑣𝑜𝑗 + ∑𝑖=1 𝑥𝑖 𝑣𝑖𝑗 ,
Terapkan fungsi aktivasi untuk menghitung sinyal keluarannya, 𝑍𝑗 = 𝑓(𝑧𝑖𝑛𝑗 ), dan mengirimkan
sinyal ini ke seluruh unit lapis di atasnya (lapis output).
Tahap 5 : tiap unit keluaran (𝑌𝑘 , 𝑘 = 1, … , 𝑚), jumlahkan bobot sinyal keluarannya,
𝑦𝑖𝑛𝑘 = 𝑤𝑜𝑘 + ∑𝑚
(2)
𝑗=1 𝑥𝑗 𝑤𝑗𝑘 ,
Sedangkan untuk cascade:
𝑓
𝑌𝑖𝑛𝑘 = 𝑤𝑜𝑘 + ∑𝑚
(3)
𝑗=1 𝑥𝑗 𝑤𝑗𝑘 + ∑𝑖=1 𝑥𝑖 𝑤𝑖𝑗
Terapkan fungsi aktivasi untuk menghitung sinyal keluarannya,
𝑦𝑘 = 𝑓(𝑧𝑖𝑛𝑘 ).
(4)
Backpropagation Error:
Tahap 6 : tiap unit keluaran 𝑌𝑘 , 𝑘 = 1, … , 𝑚), menerima pola target dan mengacu ke target
masukan, hitung kesalahannya
𝛿𝑘 = (𝑡𝑘 − 𝑦𝑘 )𝑓 ′ (𝑦𝑖𝑛𝑘 ),
(5)
Hitung koreksi bobot,
∆𝑤𝑗𝑘 = 𝛼𝛿𝑘𝑧𝑗 ,
(6)
Hitung koreksi terhadap bias,
∆𝑤𝑜𝑘 = 𝛼𝛿𝑘 ,
(7)
Dan mengirimkan sinyal tersebut ke lapis sebelumnya (mundur).
Tahap 7 : tiap unit tersembunyi (𝑍𝑗 , 𝑗 = 1, … , 𝑝), menjumlahkan delta masukan dari lapis
diatasnya.
𝛿𝑖𝑛𝑗 = ∑𝑚
(8)
𝑘=1 𝛿𝑘 𝑤𝑗𝑘 ,
Dan hitung bobot koreksinya,
∆𝑣𝑖𝑗 = 𝛼𝛿𝑗𝑥𝑖 ,
(9)
Dan hitung koreksi biasnya,
∆𝑣𝑜𝑗 = 𝛼𝛿𝑗 ,
(10)
Update bobot dan bias:
Tahap 8 : tiap unit keluaran (𝑌𝑘 , 𝑘 = 1, … , 𝑚), update bias dan bobot-bobotnya (𝑗 = 0, … , 𝑝):
𝑤𝑗𝑘 (𝑛𝑒𝑤) = 𝑤𝑗𝑘 (𝑜𝑙𝑑) + ∆𝑤𝑗𝑘 ,
(11)
Tiap unit tersembunyi (𝑍𝑗 , 𝑗 = 1, … , 𝑝), update bias dan bobotnya 𝑖 = 0, … , 𝑛):
𝑣𝑖𝑗 (𝑛𝑒𝑤) = 𝑣𝑖𝑗 (𝑜𝑙𝑑) + ∆𝑤𝑖𝑗 ,
(12)
Tahap 9 : Uji kondisi berhenti.
𝑖𝑓 𝛿𝑘 < harga error set awal then “stop training”.
4.
Generalisasi
Dalam penelitian ini digunakan parameter yang disebut generalisasi untuk mengukur
tingkat pengenalan jaringan pada pola yang diberikan. Dimana pola yang diberikan adalah data
validasi maupun data testing. Generalisasi yang digunakan dalam [11] adalah sebagai berikut :
𝐺𝑒𝑛𝑒𝑟𝑎𝑙𝑖𝑠𝑎𝑠𝑖𝑡𝑒𝑠𝑡 =
𝑛𝑢𝑚𝑘𝑒𝑛𝑎𝑙𝑡𝑒𝑠𝑡
𝑥100
𝑗𝑢𝑚𝑝𝑜𝑙𝑎
(13)
dimana 𝑛𝑢𝑚𝑘𝑒𝑛𝑎𝑙𝑡𝑒𝑠𝑡 adalah jumlah pola yang dikenal dan 𝑗𝑢𝑚𝑝𝑜𝑙𝑎 adalah jumlah pola
keseluruhan. Jumlah 𝑛𝑢𝑚𝑘𝑒𝑛𝑎𝑙𝑡𝑒𝑠𝑡 dan 𝑗𝑢𝑚𝑝𝑜𝑙𝑎 yang ditunjukkan akan berbeda pada setiap
model prediksi.
5. Analisis Sensitivitas
Analisis sensitivitas bertujuan untuk melihat perubahan output dari model yang didapatkan
jika dilakukan perubahan terhadap input dari model. Selain itu analisa ini berguna untuk
mengetahui variabel mana yang lebih berpengaruh atau sensitif untuk mencapai output akurat dari
model yang dikembangkan [12].
𝑝
Untuk mengetahui sensitivitas dari 𝑆𝑘𝑖 dimana JST yang digunakan memiliki 1 layer input
𝑍 = (𝑍1 , … , 𝑍𝑖 , … 𝑍𝐼 ), 1 layer tersembunyi 𝑌 = (𝑌1 , … 𝑌𝑗 , … 𝑌𝐽 ), dan 1 layer output 𝑂 =
(𝑂1 , … 𝑂𝑘 , … 𝑂𝐾 ) dan data training adalah 𝑃 = (𝑃1 , … 𝑃𝑝 , … 𝑃𝑃 ) digunakan :
𝑝
𝑆𝑘𝑖 = 𝑂′𝑘 + ∑𝐽𝑗=1 𝑤𝑘𝑗 𝑦′𝑗 𝑣𝑗𝑖
(14)
Untuk mendapatkan matrik sensitivitas dari semua data training terhadap output dapat digunakan :
𝑝
𝑝
𝑆𝑘𝑖 𝑚𝑎𝑥 = max{𝑆𝑘𝑖 } , 𝑝 = 1, … 𝑃
(15)
kemudian dilanjutkan dengan menghitung matrik sensitivitas dari input secara menyeluruh dapat
digunakan :
(16)
∅𝑖 = max{𝑆𝑘𝑖 } , 𝑘 = 1, … 𝐾
METODE PENELITIAN
Pada bagian ini akan dijelaskan mengenai tahap-tahap dalam penelitian untuk memperoleh
model JST dengan arsitektur terbaik, yaitu preprocessing data, pengujian dan prediksi. Data
pendidikan mahasiswa yang digunakan dalam penelitian ini diperoleh dari sistem akademik
mahasiswa (SIAMIK) UPN “Veteran” Jawa Timur dan Universitas Bhayangkara (UBHARA)
Surabaya. Yaitu sebanyak 204 sampel mahasiswa teknik informatika semester 2 dan 6. Sedangkan
data perilaku sosial mahasiswa diperoleh dengan cara membagikan kuisioner kepada sampel
mahasiswa tersebut untuk kemudian diisi sesuai dengan pilihan yang ada. Dataset yang digunakan
dalam penelitian ini dikomposisikan dalam dua kelompok data (KD) yang dapat dilihat pada Tabel
2 dan Tabel 3.
Tabel 2. Kelompok Data Pertama
Kategori
Non DO
DO
Jumlah
Data
training
(50%)
70
32
102
Data yang digunakan
Data
Data
validasi testing
(25%)
(25%)
35
35
16
16
51
51
Jumlah
140
64
204
Tabel 3. Kelompok data Kedua
Kategori
Non DO
DO
Jumlah
Data
training
(70%)
98
44
142
Data yang digunakan
Data
Data
validasi
testing
(15%)
(15%)
21
21
10
10
31
31
Jumlah
140
64
204
Preparation data
Pada langkah data preparation pengolahan data terdiri dari 2 poin: seleksi data dan
transformasi data. Tujuan dari seleksi data adalah untuk mengidentifikasi variabel-variabel yang
relevan digunakan dalam penelitian ini. Sedangkan transformasi data adalah untuk mengubah
dataset sehingga konten informasi terbaik diambil untuk dimasukkan pada tool mining dalam
format yang tepat. Pada langkah ini, ditentukan atribut-atribut yang akan mendukung variabel
input. Tabel 4 menunjukkan hasil identifikasi variabel-variabel yang digunakan sebagai input data
berdasarkan parameter individu, parameter akademik, dan parameter sosial mahasiswa.
Tabel 4. Variabel Input
Parameter
Individu
Akademik
Sosial
Variabel
relevan
Nama
Nilai yang mungkin
String (optional)
Umur
Numerik (18-27 tahun)
Jen_kel
Kategorikal (Pria, wanita)
Alamat
String (optional)
Jarak_tinggal
Numerik (1-60 Km)
Status_tinggal
Kategorikal (kos, BO)
Status_nikah
Kategorikal (ya, tidak)
Status_kerja
Kategorikal (bekerja, tidak)
Pend_ibu
Kategorikal (tidak, sekolah, sarjana)
Status_peki
Kategorikal (bekerja, tidak)
Pend_ayah
Kategorikal (tidak, sekolah, sarjana)
Status_Peka
Kategorikal (bekerja, tidak)
Jum_kel
Numerik (2-15 orang)
Motivasi
Kategorikal (sendiri, orang tua)
Waktu_bel
Numerik (0-24 jam)
Internet_rumah
Kategorikal (ya atau tidak)
Handphone
Kategorikal (jarang, sering)
Studi_lanjut
Kategorikal (ya, tidak)
Kesehatan
Kategorikal (sedikit, luang)
Absensi
Numerik (0-31 hari)
Sks
Numerik (10-160 sks)
Ipk
Numerik (0-4,0)
Semester
Numerik (II, VI)
Beasiswa
Kategorikal (ya, tidak)
Int_dos
Kategorikal (buruk, biasa, bagus)
Int_tem
Kategorikal (buruk, biasa, bagus)
Hub_kel
Kategorikal (buruk, biasa, bagus)
Waktu_bebas
Kategorikal (sedikit, luang)
Preprocessing data
Langkah berikutnya adalah preprocessing, yaitu untuk menangani data yang bersifat noise
dan missing value data. Dengan pembersihan dan pengintegrasian, data noise dan informasi yang
tidak relevan dari dataset akan berkurang. Di dalam preprocessing dilakukan cleaning data yaitu
proses yang digunakan untuk menghapus data ganda, memeriksa data yang tidak konsisten,
penanganan data missing dan merapikan data noise, dan transformasi data yaitu mengubah data ke
dalam model analitik.
Unary Encoding merupakan metode transformasi data dengan mempresentasikan data
kategorikal dalam bentuk kombinasi angka 1 dan 0 (numerical binary variable). Misalnya atribut
jenis kelamin yang mempunyai 2 kategori maka akan diganti dengan 2 (dua) atribut bilangan biner
yaitu pria dan wanita. Jika atribut jenis kelamin menunjukkan pria, maka nilai atribut pria 1 dan
wanita 0. Dan jika atribut jenis kelamin menunjukkan menunjukkan wanita, maka nilai atribut pria
0 dan wanita 1. Tabel 5 dan 6 merupakan salah satu contoh atribut kategorikal, yaitu variabel jenis
kelamin yang ditransformasi menjadi numerical binary variable.
Tabel 5. Atribut biner jenis kelamin
Jenis Kelamin
Pria
Wanita
Biner Pria
1
0
Biner Wanita
0
1
Tabel 6. Hasil transformasi
Jenis Kelamin
Pria
Wanita
Wanita
Wanita
Pria
Pria
Nilai
10
01
01
01
10
10
Kemudian sebelum dilaksanakan input data dan data target ke dalam JST, pertama harus
dilakukan normalisasi data untuk variabel numerik. Normalisasi adalah salah satu dari beberapa
teknik dalam data transformasi, yang mengubah data asli ke dalam jangkauan datanya antara 0 dan
1 sesuai dengan fungsi aktivasi yang akan digunakan.
Dalam penelitian ini digunakan rumus normalisasi data max-min sebagai berikut :
𝐴−𝐴𝑚𝑖𝑛
𝑁𝑜𝑟𝑚𝑎𝑙𝑖𝑠𝑎𝑠𝑖 =
(17)
𝐴𝑚𝑎𝑥 −𝐴𝑚𝑖𝑛
dimana:
𝐴
: atribut nilai input
𝐴𝑚𝑎𝑥 : bobot nilai maksimum
𝐴𝑚𝑖𝑛 : bobot nilai minimum
Pengujian
Pada tahap ini, setelah data siap untuk dimasukkan dalam JST, dilakukan pengujian dengan
menggunakan variasi arsitektur yang ditentukan pada Tabel 7. Kemudian akan dibandingkan
hasilnya dan dipilih arsitektur JST yang terbaik untuk sistem prediksi.
Tabel 7. Struktur JST yang Digunakan
Karakteristik
Arsitektur
Neuron input
Hidden node
Fungsi pelatihan
Neuron layer output
Toleransi galat
Learning rate
Maksimum epoch
Spesifikasi
1 hidden layer
Iterasi pertama 50 node, iterasi selanjutnya
berdasarkan hasil proses seleksi variable
input menggunakan analisis sensitivitas
5, 10, 15
Resilent backpropagation, levenbergmarquardt
2
0,001
0.01, 0.05, 0.1, 0.5
2000
Arsitektur JST yang telah diberi pembelajaran dan diuji kemudian dianalisis sensitivitas
node-node inputnya menggunakan analisis sensitivitas yang telah dibahas pada subbab
sebelumnya. Hasil yang diharapkan dari proses ini adalah didapatkan node-node input yang
memiliki sensitivitas rendah, sehingga tidak akan digunakan kembali pada tahap pembelajaran
selanjutnya. Proses ini akan berulang terus sampai didapatkan nilai sensitivitas dari masing-masing
node yang cukup tinggi. Jaringan dengan arsitektur terbaik inilah yang siap untuk digunakan dalam
sistem prediksi kemungkinan drop-out mahasiswa berdasarkan perilaku sosialnya.
HASIL DAN PEMBAHASAN
Serangkaian uji coba dilakukan untuk mengevaluasi sistem yang diusulkan. Digunakannya
variasi parameter jaringan dalam proses pembelajaran dan pengujian dimaksudkan untuk
mendapatkan parameter terbaik dari model JST yang kemudian digunakan untuk melakukan
prediksi drop-out mahasiswa, dengan membandingkan hasil percobaan pelatihan dan
pengujian pada dua kelompok data dan fungsi pelatihan yang berbeda, dimana pada masing-masing
kelompok data, hasil percobaan memberikan informasi waktu pembelajaran tercepat, nilai MSE
terkecil, dan generalisasi data validasi dan data testing tertinggi, parameter laju pembelajaran (lr)
dan jumlah hidden-node.
Berdasarkan hasil pembelajaran dan pengujian berulang pada Tabel 8 terlihat bahwa
waktu pembelajaran tercepat 0.06 detik, dihasilkan oleh pembelajaran pada kelompok data
pertama dengan variasi fungsi pelatihan levenberg-marquardt pada laju pembelajaran 0.1 dan
jumlah hidden-node 5. Nilai MSE terkecil dan tingkat generalisasi tertinggi dari data
validasi dan data testing dihasilkan oleh pembelajaran kelompok data kedua dengan variasi fungsi
pelatihan levenberg-marquardt, laju pembelajaran 0.1 dan jumlah hidden node 10.
Tabel 8. Hasil Pembelajaran dan Pengujian Terbaik
Variasi
Kelompok data pertama
Kelompok data kedua
waktu
MSE
Fungsi
Pelatihan
Resilent BP
lr
0.08
0.0000103
Data
Validasi
98.86
Data waktu
MSE
Data
Data
Testing
Validasi Testing
98.88
0.14 0.0000038 98.48
98.64
0.5
0.1
0.1
0.1
Hidden node
Fungsi
Pelatihan
levenbergmarquardt
lr
Hidden node
5
0.06
5
0.0000106
5
98.86
5
98.77
0.1
5
0.1
5
0.1
5
0.1
5
0.1
0.5
0.01
5
5
5
0.06 0.00000026 98.89
0.5
5
0.1
10
0.5
5
0.1
5
98.91
0.5
5
Hasil pembelajaran dan pengujian menunjukkan adanya perbaikan nilai yang
dihasilkan oleh percobaan dengan menggunakan beberapa variasi fungsi pelatihan. Nilai
waktu pembelajaran, MSE dan tingkat generalisasi dari data validasi dan data testing yang
dihasilkan oleh percobaan dengan fungsi pelatihan resilent backpropagation terus diperbaiki
bobotnya hingga menghasilkan waktu pembelajaran yang lebih cepat, nilai MSE yang lebih
minimum dan tingkat akurasi yang lebih tinggi pada percobaan dengan fungsi levenbergmarquardt. Berdasarkan hasil generalisasi pada pengujian dengan mempertimbangkan beberapa
variasi parameter jaringan, maka ditetapkan arsitektur terbaik yang dapat digunakan untuk
melakukan prediksi tingkat kelulusan mahasiswa adalah sebagaimana yang ditunjukkan oleh Tabel
9.
Tabel 9. Parameter Jaringan Terbaik untuk Prediksi
Parameter
Kelompok Data
Model JST untuk
prediksi
Kedua
Fungsi Pelatihan
Levenberg-marquardt
Learning rate
0.1
Jumlah hidden node
5
Generalisasi data validasi
98.89%
Generalisasi data testing
98.91%
Selanjutnya dilakukan proses analisis sensitivitas terhadap JST dengan performa terbaik
yang menghasilkan ranking variabel input dari yang terendah sampai yang tertinggi. Hasil analisis
sensitivitas setelah dilakukan iterasi berulang dapat dilihat pada Tabel 10 yang menunjukkan
bahwa variabel input yang memiliki tingkat sensitivitas paling tinggi untuk kelompok data pertama
adalah ‘kualitas hubungan antar mahasiswa’ dengan skor 4.737 (ranking 1), dan terendah ‘waktu
belajar’ dengan skor 0.579 (ranking 14). Sedangkan untuk kelompok data kedua, nilai sensitivitas
tertinggi dicapai oleh variabel input ‘kualitas hubungan antar mahasiswa’ dengan skor 4.595
(ranking 1) dan terendah ‘interaksi dengan dosen’ dengan skor 0.649 (ranking 14). Sensitivitas
pada semua variabel menunjukkan hasil yang cukup besar sehingga proses iterasi pembelajaran
dihentikan.
Tabel 10. Hasil Analisis Sensitivitas Iterasi Berulang
Sensitivitas
No
Variabel
KD 1
KD 2
Angka
Ranking
Angka
Ranking
1
2
3
Umur
Jarak
Pend_ibu
0.774
0.753
0.604
11
12
13
0.851
0.872
1.334
12
11
9
4
5
6
Pend_ayah
Status_Peka
Jum_kel
1.202
1.326
1.620
9
8
7
0.954
1.643
1.474
10
7
8
7
8
9
10
Hub_kel
Motivasi
Waktu_bel
Studi_lanjut
3.152
3.377
0.579
2.045
3
2
14
6
3.453
4.013
0.767
2.254
3
2
13
6
11
12
13
14
Sks
Ipk
Int_dos
Int_teman
2.243
2.165
0.846
4.737
4
5
10
1
2.620
2.372
0.649
4.595
5
4
14
1
Setelah semua proses uji coba dilakukan, didapatkan arsitektur JST terbaik yang siap untuk
dikembangkan menjadi sistem prediksi drop-out mahasiswa yang handal. Sebagai tahap terakhir
perlu dilakukan pengujian arsitektur terbaik terhadap sebagian data validasi dan data testing yang
dimaksudkan untuk menguji ketepatan jaringan dalam melakukan prediksi sebelum digunakan
untuk melakukan prediksi pada data baru yang akan diberikan. Data validasi dan data testing akan
diuji tanpa memiliki data target, sehingga target hasil prediksi yang dihasilkan akan dibandingkan
dengan data aktual. Hasil proses pengujian dengan menggunakan data validasi dan data testing
pada model prediksi kemungkinan drop-out disajikan oleh Tabel 11.
Tabel 11. Pengujian dengan Menggunakan Arsitektur Terbaik untuk Prediksi
Data
Data
Validasi
%
Data
testing
%
Jumlah data
31
31
Pengenalan data
Dikenal
Tidak dikenal
31
0
100
0
29
2
93.54
6.46
Data hasil prediksi
Drop-out
Non drop-out
10
21
100
100
9
20
90
95.23
Data aktual
Drop-out
Non drop-out
10
21
100
100
10
21
100
100
Berdasarkan pengujian arsitektur terbaik terhadap data validasi dan data testing untuk
model prediksi drop-out menunjukkan bahwa data dikenali 100% pada data validasi dan 93.54%
pada data testing. Hasil prediksi menggunakan data validasi menyatakan bahwa mahasiswa yang
diprediksi drop-out berjumlah 10 mahasiswa dan non drop-out 21 mahasiswa, dan data kategori
aktual menunjukkan hal yang sama. Prediksi terhadap data testing menyatakan bahwa mahasiswa
yang diprediksi non drop-out sebanyak 20 dan drop-out hanya 9 mahasiswa, berbeda dengan data
aktual yang menyatakan bahwa mahasiswa yang drop-out berjumlah 10 mahasiswa dan non dropout 21 mahasiswa.
KESIMPULAN
Hasil uji coba menunjukkan bahwa, model yang diusulkan dapat digunakan untuk
predikasi potensi drop-out mahasiswa. Arsitektur dan parameter jaringan terbaik yang diperoleh
yaitu menggunakan komposisi kelompok data kedua, dengan fungsi pelatihan levenbergmarquardt, laju pembelajaran 0.1, 5 hidden node, generalisasi data validasi dan data testing sebesar
98.89% dan 98,91%. Hasil analisis sensitivitas menunjukkan variabel input untuk parameter sosial
yang paling berpengaruh adalah kualitas interaksi dengan teman dan variabel hubungan keluarga.
Sedangkan variabel input untuk parameter individu adalah studi_lanjut dan motivasi. Untuk
parameter akademik, variabel input yang paling berpengaruh adalah SKS dan IPK.
DAFTAR PUSTAKA
[1].
[2].
[3].
[4].
[5].
[6].
[7].
[8].
[9].
[10].
[11].
[12].
Kusumadewi S, Hartati S. 2010. Neuro-Fuzzy. Integrasi Sistem Fuzzy & Jaringan Syaraf.
Yogyakarta. Graha Ilmu.
Han J, Kamber M. 2001. Data Mining : Concepts and Techniques. USA :
Academic Press.
G. W. Dekker, M. Pechenizkiy, and J. M. Vleeshouwers. 2009. Predicting students drop
out: A case study. In EDM: Proceedings of the 2nd International Conference On
Educational Data Mining. Cordoba, Spain., pages 41-50.
Hertati, D. 2009. Faktor-Faktor Yang Mempengaruhi Putus Studi (Drop Out) Mahasiswa
Universitas Pembangunan Nasional "Veteran" Jawa Timur
(Tugas Akhir tidak
dipublikasikan). Universitas Pembangunan Nasional “Veteran” Jawa timur.
Hastuti K. 2012. Analisis Komparasi Algoritma Klasifikasi Data Mining Untuk Prediksi
Mahasiswa Non Aktif. Seminar Nasional Teknologi Informasi & Komunikasi Terapan 2012
(Semantik 2012).
B. Jaroslav, B. Hana, G. Jan, O. Tomas, P. Lubomir. 2012. Predicting drop-out from
social behaviour of students. EDM2012: Proceedings ofthe 5th International Conference on
Educational Data Mining. Eindhoven, the Netherlands., pages 103-109.
www.educationaldatamining.org.
Baron, Byrne, Nyla. 2006. Social Psychology. Erlangga.
C. Romero, S. Ventura, M. Pechenizkiy, and R. Baker. 2010. Handbook of Educational
Data Mining. New York: Taylor & Francis.
R. Baker and K. Yacef. 2010. The state of educational data mining in 2009: A review and
future visions. Journal of Educational Data Mining, 1(1):3-17.
Nilakant, K. 2004. Applicationof Data Mining in Constraint Based Intelligent Tutoring
System,
www.cosc.canterbury.ac.nz/research/reports/HonsReps/2004/hons_0408.pdf,
diakses tanggal 28 Juni 2013.
Agustini K. 2006. Perbandingan Metode Transformasi Wavelet Sebagai Praproses Pada
Sistem Identifikasi Pembicara. [Thesis]. Bogor : Program Pascasarjana, Institut
Pertanian Bogor.
Engelbrecht AP. 2001. Sensitivity Analysis for Selective Learning by Feedforward
Neural Networks. J Fundamental Informatics. Vol. XXI:1001-1028. IOS Press.