Pengujian Program Simulasi
4.3 Pengujian Program Simulasi
Pengujian ini akan dilakukan dengan 2 cara yaitu
1. Menguji hasil pendeteksian email dengan melihat hasil/keluaran dari beberapa contoh yang dimasukkan ke dalam program. Dalam pengujian ini nilai keakuratan dapat dihitung dengan rumus seperti berikut:
2. Menghitung runtime program dengan beberapa masukan atau input yang berbeda. Dalam pengujian ini nilai rata-rata runtime secara keseluruhan dapat dihitung dengan rumus seperti berikut:
Dengan :
= rata-rata waktu (dalam satuan detik) = rata-rata tiap url (dalam satuan detik) = jumlah url = rata-rata waktu (dalam satuan detik) = rata-rata tiap url (dalam satuan detik) = jumlah url
Tabel 4.1. Lingkungan Pengujian Simulasi Pendeteksian Email
No. Jenis
Keterangan
1 Sistem Operasi
Microsoft Windows 7 Ultimate
2 Software AppServ Open Project version 2.5.8 dengan: Bahasa Pemrograman PHP 5.2.1, Web Server Apache 2.2.4, Database Server MySQL 5.0.27, dan Database Manager phpMyAdmin 2.9.2.
Mozilla Firefox 9.0.1
3 Hardware
Notebook dengan spesifikasi:
Intel ® Pentium ® P6100 @ 2,00 GHz, RAM 1 GB, Harddisk dengan kapasitas 320 GB
Modem Smartfren CE682 UI
Skenario pengujian adalah sebagai berikut:
1. User memasukkan source email yang akan difilter.
2. Kemudian klik tombol submit untuk memulai proses pendeteksian email tersebut.
3. Akan didapatkan hasil berupa url email, metadata keywords dan nilai Jaccard Similarity dalam bentuk % (untuk url yang belum terdapat di dalam database ), notifikasi email safe atau email alert, serta runtime program. Ambang batas Jaccard Similarity untuk pengujian hasil pendeteksian email adalah 0.1 atau 10% karena diasumsikan jika dalam 10 metadata keywords yang ditemukan ada sekurang-kurangnya 1 keywords yang sama dengan porn keywords yang ada di dalam database maka url tersebut akan dideteksi sebagai url porno.
1 pukul 23.00 WIB, ke-2 pukul 08.00 WIB, dan ke-3 pukul 13.00 WIB. Tujuan pengujian ini dilakukan sebanyak 3 kali adalah untuk mendapatkan hasil yang lebih akurat karena pada waktu-waktu tersebut biasanya kecepatan akses internet akan berbeda-beda.
Tabel 4.2 berikut ini adalah dataset yang akan digunakan dalam pengujian:
Tabel 4.2. Tabel Dataset Pengujian
NO JENIS
JML
KETERANGAN
1 File email
(.txt)
85 - 25 file txt yang berisi sebuah url yang sudah
terdapat di dalam database. - 35 file txt yang berisi sebuah url yang belum terdapat di dalam database. - 25 file txt yang berisi lebih dari 1 url, baik url yang sudah terdapat di dalam database maupun url yang belum terdapat di dalam database .
- Semua data url tersebut diperoleh dari data sekunder yang diambil dari internet.
2 Data url
60 - 25 merupakan data url yang sudah terdapat
di dalam database. - 35 merupakan url yang belum terdapat di dalam database. Semua data url tersebut diperoleh dari data sekunder yang diambil dari internet.
3 Data keywords porno
5 - Data keywords ini merupakan kata-kata yang diasumsikan mewakili metadata keywords yang terdapat di dalam url porno.
- Kata-kata ini adalah: porn, sex, xxx, tube,
dan nude.
Tabel 4.3. Tabel Pengujian Hasil Pendeteksian Email
dengan Url Terdapat Di dalam Database
Id Url Terdapat Dalam Database
Hasil
BENAR SALAH
1 http://4xxxx.com ALERT !
2 http://rabbitsxxxxxxx.com ALERT !
3 http://pornvxxxxxx.com ALERT !
4 http://pornhxx.com ALERT !
5 http://youxxxx.com ALERT !
6 http://ovgxxxx.com ALERT !
7 http://mpxxx.com ALERT !
8 http://freexxxxxxxxxxxxxx.com
ALERT !
9 http://xvxxxxx.com ALERT !
10 http://indianxxxxxxxxxx.com ALERT !
11 http://pornaxxxx.com ALERT !
12 http://gonzoxxxxxxxxx.com
ALERT !
13 http://hardxxxxxxx.com ALERT !
14 http://largepxxxxxxx.com
ALERT !
15 http://parispxxxxxxxxx.com ALERT !
16 http://sluxxxxxxxxx.com ALERT !
17 http://cinxxxxx-69.com ALERT !
18 http://freecxxxxxxxxxxx.com ALERT !
19 http://pearxxxxxxx.com ALERT !
20 http://ladyxxxxxxx.com ALERT !
21 http://tubxxxxxxx.com
ALERT !
22 http://punixxxxxx.com
ALERT !
23 http://suprexxxxxx.com
ALERT !
24 http://poxxx.com
ALERT !
25 http://photxxxxxx.com
ALERT ! ALERT !
Tingkat akurasi = 25 x 100% = 100 %
Tabel 4.4. Tabel Pengujian Hasil Pendeteksian Email dengan Url Tidak Terdapat Di dalam Database
id Url Tidak Terdapat Dalam Database
Hasil
BENAR SALAH
1 http://8x.com ALERT !
2 http://phonxxxxxxx.com ALERT !
3 http://findxxxxx.com
ALERT !
4 http://pandxxxxxxx.com ALERT !
5 http://cartoxxxxxx.com
ALERT !
6 http://kowalxxxxxxx.com
ALERT !
7 http://bravxxxx.com
SAFE !
8 http://eroxxxx.com ALERT !
9 http://tubxxxxxx.com ALERT !
10 http:/lobsxxxxxxx.com
ALERT !
11 http://wankxxxxxx.com ALERT !
12 http://dinxxxxx.com
ALERT !
13 http://meexxx.com
SAFE !
14 http://clipxxxxxx.com ALERT !
15 http://h2xxxx.com
ALERT !
16 http://persixxxxxxx.com ALERT !
17 http://xnxx.com ALERT !
18 http://bondaxxxxxx.com SAFE !
19 http://vpxxx.com
ALERT !
20 http://ixxx.com
ALERT !
21 http://xhamxxx.com
ALERT ! ALERT !
Hasil
BENAR SALAH
22 http://yahoo.com SAFE !
23 http://id.yahoo.com SAFE !
24 http://answer.yahoo.com SAFE !
25 http://id.answers.yahoo.com
SAFE !
26 http://solopos.com SAFE !
27 http://kompas.com SAFE !
28 http://libre.com SAFE !
29 http://nytimes.com SAFE !
30 http://libra.msra.cn SAFE !
31 http://kpk.go.id SAFE !
32 http://indosat.com
SAFE !
33 http://amd.com
SAFE !
34 http://greenpeace.org
SAFE !
35 http://tokobagus.com
SAFE !
Dari tabel 4.4, dapat dianalisa bahwa :
1. Untuk kasus url yang belum terdapat dalam database, daat dilihat bawah dari
35 data yang diuji, data yang bernilai benar ada 32:
Tingkat akurasi = 32 x 100% = 91.4%
2. Kesalahan yang terjadi dalam metode pendeteksian ini dikarenakan url porno yang dituju tidak memiliki metadata keywords, sehingga url tersebut tidak terdeteksi sebagai url porno karena Jaccard Similarity bernilai 0 (kurang dari 0.1).
3. Kelemahan yang lain dari program simulasi pendeteksian email ini adalah jika dalam metadata keywords dari url porno tidak mengandung satupun kata-kata yang sama dengan keywords porno yang terdapat di dalam database, maka url
(kurang dari 0.1).
Tabel 4.5. Tabel Pengujian Hasil Pendeteksian Email dengan Multiple Url
id Multiple url
Jenis url
Hasil
Benar Salah
1 http://4xxxx.com, http://answer.yahoo.com
porn(in-db), safe
ALERT !
2 http://cinxxxxx-69.com, http://solopos.com
porn(in-db), safe
ALERT !
3 http://rabbitxxxxxxx.com, http://kompas.com
porn(in-db), safe
ALERT !
4 http://porxxxxxxxx.com, http://libre.com
porn(in-db), safe
ALERT !
5 http://porxxxx.com, http://kpk.go.id
porn(in-db), safe
ALERT !
6 http://8x.com, http://answer.yahoo.com
porn(out-db), safe ALERT !
7 http://phonxxxxxxx.com, http://solopos.com
porn(out-db), safe ALERT !
8 http://pandxxxxxxx.com, http://kompas.com
porn(out-db), safe ALERT !
9 http://wanxxxxxxx.com, http://kompas.com
porn(out-db), safe ALERT !
10 http://clipxxxxxx.com, http://kpk.go.id
porn(out-db), safe ALERT !
11 http://answer.yahoo.com, http://4xxxx.com
safe, porn(in-db)
ALERT !
12 http://solopos.com, http://cinxxxxx-69.com
safe, porn(in-db)
ALERT ! ALERT !
id Multiple url
Jenis url
Hasil
Benar Salah
13 http://kompas.com, http://rabbixxxxxxxxx.com safe, porn(in-db)
ALERT !
14 http://libre.com, http://porxxxxxxxx.com
safe, porn(in-db)
ALERT !
15 http://kpk.go.id, http://porxxxx.com
safe, porn(in-db)
ALERT !
16 http://answer.yahoo.com, http://8x.com
safe, porn(out-db) ALERT !
17 http://solopos.com, http://mexxxx.com
safe, porn(out-db) SAFE !
18 http://kompas.com, http://pandxxxxxxx.com
safe, porn(out-db) ALERT !
19 http://kompas.com, http://wanxxxxxxx.com
safe, porn(out-db) ALERT !
20 http://kpk.go.id, http://clixxxxxxx.com
safe, porn(out-db) ALERT !
21 http://answer.yahoo.com, http://kompas.com
safe, safe
SAFE !
22 http://answer.yahoo.com, http://solopos.com
safe, safe
SAFE !
23 http://answer.yahoo.com, http://kpk.go.id
safe, safe
SAFE !
24 http://kpk.go.id, http://solopos.com
safe, safe
SAFE !
25 http://kompas.com, http://solopos.com
safe, safe
SAFE ! SAFE !
Tingkat akurasi = 24 x 100% = 96 %
Dari tabel 4.3, 4.4, dan 4.5 didapatkan data tingkat akurasi sebagai berikut: - Url yang sudah terdapat di dalam database tingkat akurasi = 100%. - Url yang belum tedapat di dalam database tingkat akurasi = 91.4 %. - Multiple url tingkat akurasi = 96%.
Data tersebut dapat digambarkan dalam sebuah grafik seperti pada Gambar 4.3 berikut:
Gambar 4.3. Grafik Tingkat Akurasi Pendeteksian Email