ANALISA PENDETEKSIAN DAN PENCEGAHAN SERANGAN BUFFER OVERFLOW TERHADAP ACHAT Analisa Pendeteksian dan Pencegahan Serangan Buffer Overflow terhadap Achat.
ANALISA PENDETEKSIAN DAN PENCEGAHAN SERANGAN
BUFFER OVERFLOW TERHADAP ACHAT
SKRIPSI
Disusun sebagai salah satu syarat menyelesaikan Jenjang Strata I pada
Program Studi Informatika Fakultas Komunikasi dan Informatika
Universitas Muhammadiyah Surakarta
Oleh:
THEOREMANTO AJI WIBISONO
NIM : L200110039
PROGRAM STUDI INFORMATIKA
FAKULTAS KOMUNIKASI DAN INFORMATIKA
UNIVERSITAS MUHAMMADIYAH SURAKARTA
Juni 2015
i
ii
iii
iv
MOTTO DAN PERSEMBAHAN
MOTTO
Harga kebaikan manusia adalah diukur menurut apa yang telah
dilaksanakan atau diperbuatnya
(Ali Bin Abi Thalib)
Sesuatu yang belum dikerjakan, seringkali tampak mustahil
kita baru yakin kalau kita telah berhasil
melakukannya dengan baik
(Evelyn Underhill)
Barangsiapa bersungguh-sungguh, sesungguhnya kesungguhannya
itu adalah untuk dirinya sendiri
(QS Al-Ankabut [29]: 6)
v
PERSEMBAHAN
Sebagai rasa syukur penulis persembahkan karya ini kepada :
1. Allah SWT yang selalu melimpahkan rahmat dan hidayah bagi hambaNya serta yang
selalu menunjuki ke jalan yang lurus.
2. Kedua orang tuaku tercinta, Bapak Drs. H. Makmur Sugeng, M.Pd dan Ibu Dra. Hj.
Sri Mulyani yang telah membimbing saya dari kecil hingga sekarang ini, untuk setiap
nasihat dan doa yang dipanjatkan untuk kesuksesan penulis, serta dukungan moril
dan materiilnya.
3. Kepada kakak saya Aksioma Sugeng Prakoso dan Ria Sawitri yang telah
memberikan nasihat, semangat dan motivasi.
4. Kepada keluarga besar saya yang ada di Solo.
5. Kepada teman-teman saya terutama teman Kost Pandhawa yang telah memberikan
motivasi selama ini.
6. Almamater
vi
KATA PENGANTAR
Alhamdulillahirabbil‟alamin atas segala nikmat iman, Islam, kesempatan,
serta kekuatan yang telah diberikan Allah Subhanahuwata‟ala sehingga Penulis dapat
menyelesaikan skripsi ini. Shalawat beriring salam untuk tuntunan dan suri tauladan
Rasulullah Shallallahu„alaihiwasallam beserta keluarga dan sahabat beliau yang
senantiasa menjunjung tinggi nilai-nilai Islam yang sampai saat ini dapat dinikmati
oleh seluruh manusia di penjuru dunia.
Skripsi ini dibuat sebagai salah satu syarat untuk mendapat gelar sarjana
komputer dari Program Studi Teknik Informatika Universitas Muhammadiyah
Surakarta. Judul skripsi ini adalah “Analisa Pendeteksian dan Pencegahan Serangan
Buffer Overflow terhadap Achat”. Sehingga dalam kesempatan ini penulis
mempersembahkan ucapan terima kasih dengan kerendahan hati, kepada :
1. Allah Subhanahu Wata‟ala yang maha segalanya.
2. Bapak Fatah Yasin Al-Irsyadi, S.T., M.T. selaku Pembimbing yang telah
berkenan untuk meluangkan waktu dan membimbing serta mengarahkan
penulis sehingga terselesaikannya penyusunan skripsi ini.
3. Kedua orang tuaku tercinta, Bapak Drs. H. Makmur Sugeng, M.Pd dan Ibu
Dra. Hj. Sri Mulyani yang telah membimbing saya dari kecil hingga sekarang
Akhirnya, dengan segala kerendahan hati penulis menyadari masih banyak
terdapa kekurangan-kekurangan, semoga skripsi ini bermanfaat bagi semua yang
membacanya, amin
Surakarta,
vii
Mei 2015
Penuliis
DAFTAR ISI
HALAMAN JUDUL ......................................................................................
i
LEMBAR PERSETUJUAN ..........................................................................
ii
LEMBAR PENGESAHAN ...........................................................................
iii
DAFTAR KONTRIBUSI...............................................................................
iv
MOTTO ..........................................................................................................
v
PERSEMBAHAN ...........................................................................................
vi
KATA PENGANTAR ....................................................................................
vii
DAFTAR ISI ...................................................................................................
viii
DAFTAR GAMBAR ......................................................................................
xi
DAFTAR TABEL...........................................................................................
xiii
ABSTRAK ......................................................................................................
xiv
BAB I
PENDAHULUAN ..........................................................................
1
1.1
Latar Belakang Masalah ........................................................
1
1.2
Rumusan Masalah..................................................................
3
1.3
Batasan Masalah.....................................................................
3
1.4
Tujuan Penelitian ...................................................................
4
1.5
Manfaat Penelitian ................................................................
4
1.6
Sistematika Penulisan.............................................................
4
BAB II TINJAUAN PUSTAKA .................................................................
6
2.1
Telaah Pustaka ........................................................................
6
2.2
Landasan Teori .......................................................................
9
2.2.1
Keamanan Jaringan Komputer ............................................
9
2.2.2
Intrusion Detection System .................................................
11
2.2.3
Intrusion Prevention System ................................................
12
viii
2.2.4
Snort.....................................................................................
14
2.2.5
Metasploit Framework ........................................................
18
2.2.6
AChat ...................................................................................
20
2.2.7
Buffer Overflow ..................................................................
21
2.2.8
Firewall ................................................................................
22
BAB III METODOLOGI PENELITIAN ..................................................
24
3.1
Alokasi Waktu Penelitian .......................................................
24
3.2
Perangkat yang Dibutuhkan....................................................
24
Komputer Server..................................................................
25
1. Perangkat Lunak ............................................................
25
2. Perangakat Keras ...........................................................
25
Komputer Client ..................................................................
26
1. Perangkat Lunak ............................................................
26
2. Perangkat Keras ............................................................
26
3.3
Metode Penelitian ...................................................................
26
3.4
Alur Penelitian .......................................................................
27
3.4.1
Pengumpulan Data ...............................................................
27
3.4.2
Pengolahan dan Analisis Data .............................................
27
3.4.4
Perancangan Sistem ............................................................
27
3.4.5
Implementasi .......................................................................
28
3.4.6
Pengujian Sistem .................................................................
42
BAB IV HASIL DAN PEMBAHASAN .....................................................
44
3.2.1
3.2.2
1.1
Hasil Penelitian .......................................................................
44
1.1.1
Pengujian Sistem Tahap Deteksi Serangan .........................
44
1.1.2
Pengujian Sistem Pencegahan Serangan .............................
57
ix
1.2
Pembahasan ............................................................................
59
BAB V PENUTUP .......................................................................................
61
5.1
Kesimpulan ............................................................................
61
5.2
Saran ......................................................................................
61
DAFTAR PUSTAKA .....................................................................................
63
x
DAFTAR GAMBAR
2.1.
Komponen IDS.......................................................................................
18
3.1.
Tampilan Metasploit ketika dijalankan ..................................................
28
3.2.
Tampilan utama Achat ...........................................................................
29
3.3.
Setting rules 1.........................................................................................
32
3.4.
Setting rules 2.........................................................................................
32
3.5.
Setting rules 3.........................................................................................
32
3.6.
Setting rules 4.........................................................................................
32
3.7.
Setting rules 5.........................................................................................
32
3.8.
Setting rules 6.........................................................................................
32
3.9.
Setting rules 7.........................................................................................
33
3.10 Setting rules 8.........................................................................................
33
3.11. Setting rules 9.........................................................................................
33
3.12. Setting rules 10.......................................................................................
33
3.13. Tampilan Interface Snort........................................................................
34
3.14. Tampilan Konfigurasi Firewall ..............................................................
37
3.15. Tampilan with Advanced Setting ...........................................................
37
3.16. Tampilan Inbound Rule..........................................................................
38
3.17. Tampilan Konfigurasi Rule ....................................................................
38
3.18. Tampilan Program Konfigurasi Rule .....................................................
39
3.19. Tampilan Tahap Action..........................................................................
39
3.20. Tampilan Tahap Profile..........................................................................
40
3.21. Tampilan Tahap Pengisian Nama Serangan ..........................................
40
3.22. Tampilan Protocol dan Ports ..................................................................
41
xi
3.23. Tampilan Tahap Scope............................................................................
41
3.24. Tampilan Firewall yang sudah selesai di Setting ....................................
42
4.1. Tampilan Folder Metasploit ....................................................................
46
4.2. Tampilan metasploit console siap digunakan .........................................
46
4.3. Tampilan mencari serangan Achat ..........................................................
47
4.4. Tampilan melakukan exploit terhadap Achat .........................................
47
4.5. Tampilan melihat target yang di exploit .................................................
48
4.6. Tampilan memilih host dan port target ...................................................
48
4.7. Tampilan client 1 menjalankan exploit pada target ................................
49
4.8. Tampilan client 2 menjalankan exploit pada target ................................
49
4.9. Tampilan client 3 menjalankan exploit pada target ................................
50
4.10. Flowchart serangan metasploit ................................................................
51
4.11. Perancangan penyerangan .......................................................................
52
4.12. Tampilan file theo telah disembunyikan .................................................
53
4.13. Tampilan drive J telah di format .............................................................
54
4.14. Tampilan di server saat sedang di format ...............................................
54
4.15. Tampilan saat program berhasil dijalankan ............................................
55
4.16. Tampilan di server saat notepad berhasil dijalankan ..............................
55
4.17. Tampilan setelah file berhasil di copy ....................................................
56
4.18. Tampilan setelah file berhasil di rename ................................................
56
4.19. Tampilan peringatan ada serangan Buffer Overflow terhadap target .....
57
xii
DAFTAR TABEL
4.1. Tabel perbandingan firewall .....................................................................
xiii
58
Abstrak
Masalah keamanan sebuah jaringan komputer sangat rentan terhadap serangan
dari berbagai kalangan. Ada berbagai alasan atau motif dari serangan-serangan
tersebut. Adapun macam alasannya yaitu untuk, balas dendam, politik, atau cuma
untuk unjuk kemampuan. Di balik mudahnya akses informasi-informasi yang ada di
internet ada pula bahaya besar yang sewaktu-waktu dapat mengintai, yaitu dengan
berbagai macam serangan untuk berusaha mencari kelemahan dari sistem keamanan
jaringan komputer yang digunakan. Serangan tersebut dapat mengakibatkan
kerusakan data, kehilangan data atau bahkan kerusakan pada hardware komputer.
Penelitian ini akan menganalisis bagaimana suatu serangan Buffer Overflow
bekerja pada software AChat Protokol, dan kemudian melakukan deteksi serangan
menggunakan snort IDS. Pendeteksian dan pencegahan dilakukan dengan membuat
rancangan firewall aktif untuk memonitor setiap data yang masuk kedalam server,
apakah data tersebut merupakan serangan Buffer Overflow atau bukan.
Hasil dari percobaan ini adalah suatu system yang sudah dibangun dapat
bekerja pada keamanan jaringan yang dapat mendeteksi dan mencegah terjadinya
serangan Buffer Overflow terhadap Software AChat. Sistem yang sudah di bangun
tersebut sudah berhasil dengan cara dilakukan suatu simulasi atau pengujian sistem,
yaitu snort IDS sudah berhasil untuk mendeteksi serangan dan konfigurasi firewall
sudah dapat mencegah serangan yang masuk ke sistem.
Kata kunci : Keamanan Jaringan Komputer, Buffer Oveflow, IDS Snort, AChat,
Metasploit Faramework, Firewall
xiv
BUFFER OVERFLOW TERHADAP ACHAT
SKRIPSI
Disusun sebagai salah satu syarat menyelesaikan Jenjang Strata I pada
Program Studi Informatika Fakultas Komunikasi dan Informatika
Universitas Muhammadiyah Surakarta
Oleh:
THEOREMANTO AJI WIBISONO
NIM : L200110039
PROGRAM STUDI INFORMATIKA
FAKULTAS KOMUNIKASI DAN INFORMATIKA
UNIVERSITAS MUHAMMADIYAH SURAKARTA
Juni 2015
i
ii
iii
iv
MOTTO DAN PERSEMBAHAN
MOTTO
Harga kebaikan manusia adalah diukur menurut apa yang telah
dilaksanakan atau diperbuatnya
(Ali Bin Abi Thalib)
Sesuatu yang belum dikerjakan, seringkali tampak mustahil
kita baru yakin kalau kita telah berhasil
melakukannya dengan baik
(Evelyn Underhill)
Barangsiapa bersungguh-sungguh, sesungguhnya kesungguhannya
itu adalah untuk dirinya sendiri
(QS Al-Ankabut [29]: 6)
v
PERSEMBAHAN
Sebagai rasa syukur penulis persembahkan karya ini kepada :
1. Allah SWT yang selalu melimpahkan rahmat dan hidayah bagi hambaNya serta yang
selalu menunjuki ke jalan yang lurus.
2. Kedua orang tuaku tercinta, Bapak Drs. H. Makmur Sugeng, M.Pd dan Ibu Dra. Hj.
Sri Mulyani yang telah membimbing saya dari kecil hingga sekarang ini, untuk setiap
nasihat dan doa yang dipanjatkan untuk kesuksesan penulis, serta dukungan moril
dan materiilnya.
3. Kepada kakak saya Aksioma Sugeng Prakoso dan Ria Sawitri yang telah
memberikan nasihat, semangat dan motivasi.
4. Kepada keluarga besar saya yang ada di Solo.
5. Kepada teman-teman saya terutama teman Kost Pandhawa yang telah memberikan
motivasi selama ini.
6. Almamater
vi
KATA PENGANTAR
Alhamdulillahirabbil‟alamin atas segala nikmat iman, Islam, kesempatan,
serta kekuatan yang telah diberikan Allah Subhanahuwata‟ala sehingga Penulis dapat
menyelesaikan skripsi ini. Shalawat beriring salam untuk tuntunan dan suri tauladan
Rasulullah Shallallahu„alaihiwasallam beserta keluarga dan sahabat beliau yang
senantiasa menjunjung tinggi nilai-nilai Islam yang sampai saat ini dapat dinikmati
oleh seluruh manusia di penjuru dunia.
Skripsi ini dibuat sebagai salah satu syarat untuk mendapat gelar sarjana
komputer dari Program Studi Teknik Informatika Universitas Muhammadiyah
Surakarta. Judul skripsi ini adalah “Analisa Pendeteksian dan Pencegahan Serangan
Buffer Overflow terhadap Achat”. Sehingga dalam kesempatan ini penulis
mempersembahkan ucapan terima kasih dengan kerendahan hati, kepada :
1. Allah Subhanahu Wata‟ala yang maha segalanya.
2. Bapak Fatah Yasin Al-Irsyadi, S.T., M.T. selaku Pembimbing yang telah
berkenan untuk meluangkan waktu dan membimbing serta mengarahkan
penulis sehingga terselesaikannya penyusunan skripsi ini.
3. Kedua orang tuaku tercinta, Bapak Drs. H. Makmur Sugeng, M.Pd dan Ibu
Dra. Hj. Sri Mulyani yang telah membimbing saya dari kecil hingga sekarang
Akhirnya, dengan segala kerendahan hati penulis menyadari masih banyak
terdapa kekurangan-kekurangan, semoga skripsi ini bermanfaat bagi semua yang
membacanya, amin
Surakarta,
vii
Mei 2015
Penuliis
DAFTAR ISI
HALAMAN JUDUL ......................................................................................
i
LEMBAR PERSETUJUAN ..........................................................................
ii
LEMBAR PENGESAHAN ...........................................................................
iii
DAFTAR KONTRIBUSI...............................................................................
iv
MOTTO ..........................................................................................................
v
PERSEMBAHAN ...........................................................................................
vi
KATA PENGANTAR ....................................................................................
vii
DAFTAR ISI ...................................................................................................
viii
DAFTAR GAMBAR ......................................................................................
xi
DAFTAR TABEL...........................................................................................
xiii
ABSTRAK ......................................................................................................
xiv
BAB I
PENDAHULUAN ..........................................................................
1
1.1
Latar Belakang Masalah ........................................................
1
1.2
Rumusan Masalah..................................................................
3
1.3
Batasan Masalah.....................................................................
3
1.4
Tujuan Penelitian ...................................................................
4
1.5
Manfaat Penelitian ................................................................
4
1.6
Sistematika Penulisan.............................................................
4
BAB II TINJAUAN PUSTAKA .................................................................
6
2.1
Telaah Pustaka ........................................................................
6
2.2
Landasan Teori .......................................................................
9
2.2.1
Keamanan Jaringan Komputer ............................................
9
2.2.2
Intrusion Detection System .................................................
11
2.2.3
Intrusion Prevention System ................................................
12
viii
2.2.4
Snort.....................................................................................
14
2.2.5
Metasploit Framework ........................................................
18
2.2.6
AChat ...................................................................................
20
2.2.7
Buffer Overflow ..................................................................
21
2.2.8
Firewall ................................................................................
22
BAB III METODOLOGI PENELITIAN ..................................................
24
3.1
Alokasi Waktu Penelitian .......................................................
24
3.2
Perangkat yang Dibutuhkan....................................................
24
Komputer Server..................................................................
25
1. Perangkat Lunak ............................................................
25
2. Perangakat Keras ...........................................................
25
Komputer Client ..................................................................
26
1. Perangkat Lunak ............................................................
26
2. Perangkat Keras ............................................................
26
3.3
Metode Penelitian ...................................................................
26
3.4
Alur Penelitian .......................................................................
27
3.4.1
Pengumpulan Data ...............................................................
27
3.4.2
Pengolahan dan Analisis Data .............................................
27
3.4.4
Perancangan Sistem ............................................................
27
3.4.5
Implementasi .......................................................................
28
3.4.6
Pengujian Sistem .................................................................
42
BAB IV HASIL DAN PEMBAHASAN .....................................................
44
3.2.1
3.2.2
1.1
Hasil Penelitian .......................................................................
44
1.1.1
Pengujian Sistem Tahap Deteksi Serangan .........................
44
1.1.2
Pengujian Sistem Pencegahan Serangan .............................
57
ix
1.2
Pembahasan ............................................................................
59
BAB V PENUTUP .......................................................................................
61
5.1
Kesimpulan ............................................................................
61
5.2
Saran ......................................................................................
61
DAFTAR PUSTAKA .....................................................................................
63
x
DAFTAR GAMBAR
2.1.
Komponen IDS.......................................................................................
18
3.1.
Tampilan Metasploit ketika dijalankan ..................................................
28
3.2.
Tampilan utama Achat ...........................................................................
29
3.3.
Setting rules 1.........................................................................................
32
3.4.
Setting rules 2.........................................................................................
32
3.5.
Setting rules 3.........................................................................................
32
3.6.
Setting rules 4.........................................................................................
32
3.7.
Setting rules 5.........................................................................................
32
3.8.
Setting rules 6.........................................................................................
32
3.9.
Setting rules 7.........................................................................................
33
3.10 Setting rules 8.........................................................................................
33
3.11. Setting rules 9.........................................................................................
33
3.12. Setting rules 10.......................................................................................
33
3.13. Tampilan Interface Snort........................................................................
34
3.14. Tampilan Konfigurasi Firewall ..............................................................
37
3.15. Tampilan with Advanced Setting ...........................................................
37
3.16. Tampilan Inbound Rule..........................................................................
38
3.17. Tampilan Konfigurasi Rule ....................................................................
38
3.18. Tampilan Program Konfigurasi Rule .....................................................
39
3.19. Tampilan Tahap Action..........................................................................
39
3.20. Tampilan Tahap Profile..........................................................................
40
3.21. Tampilan Tahap Pengisian Nama Serangan ..........................................
40
3.22. Tampilan Protocol dan Ports ..................................................................
41
xi
3.23. Tampilan Tahap Scope............................................................................
41
3.24. Tampilan Firewall yang sudah selesai di Setting ....................................
42
4.1. Tampilan Folder Metasploit ....................................................................
46
4.2. Tampilan metasploit console siap digunakan .........................................
46
4.3. Tampilan mencari serangan Achat ..........................................................
47
4.4. Tampilan melakukan exploit terhadap Achat .........................................
47
4.5. Tampilan melihat target yang di exploit .................................................
48
4.6. Tampilan memilih host dan port target ...................................................
48
4.7. Tampilan client 1 menjalankan exploit pada target ................................
49
4.8. Tampilan client 2 menjalankan exploit pada target ................................
49
4.9. Tampilan client 3 menjalankan exploit pada target ................................
50
4.10. Flowchart serangan metasploit ................................................................
51
4.11. Perancangan penyerangan .......................................................................
52
4.12. Tampilan file theo telah disembunyikan .................................................
53
4.13. Tampilan drive J telah di format .............................................................
54
4.14. Tampilan di server saat sedang di format ...............................................
54
4.15. Tampilan saat program berhasil dijalankan ............................................
55
4.16. Tampilan di server saat notepad berhasil dijalankan ..............................
55
4.17. Tampilan setelah file berhasil di copy ....................................................
56
4.18. Tampilan setelah file berhasil di rename ................................................
56
4.19. Tampilan peringatan ada serangan Buffer Overflow terhadap target .....
57
xii
DAFTAR TABEL
4.1. Tabel perbandingan firewall .....................................................................
xiii
58
Abstrak
Masalah keamanan sebuah jaringan komputer sangat rentan terhadap serangan
dari berbagai kalangan. Ada berbagai alasan atau motif dari serangan-serangan
tersebut. Adapun macam alasannya yaitu untuk, balas dendam, politik, atau cuma
untuk unjuk kemampuan. Di balik mudahnya akses informasi-informasi yang ada di
internet ada pula bahaya besar yang sewaktu-waktu dapat mengintai, yaitu dengan
berbagai macam serangan untuk berusaha mencari kelemahan dari sistem keamanan
jaringan komputer yang digunakan. Serangan tersebut dapat mengakibatkan
kerusakan data, kehilangan data atau bahkan kerusakan pada hardware komputer.
Penelitian ini akan menganalisis bagaimana suatu serangan Buffer Overflow
bekerja pada software AChat Protokol, dan kemudian melakukan deteksi serangan
menggunakan snort IDS. Pendeteksian dan pencegahan dilakukan dengan membuat
rancangan firewall aktif untuk memonitor setiap data yang masuk kedalam server,
apakah data tersebut merupakan serangan Buffer Overflow atau bukan.
Hasil dari percobaan ini adalah suatu system yang sudah dibangun dapat
bekerja pada keamanan jaringan yang dapat mendeteksi dan mencegah terjadinya
serangan Buffer Overflow terhadap Software AChat. Sistem yang sudah di bangun
tersebut sudah berhasil dengan cara dilakukan suatu simulasi atau pengujian sistem,
yaitu snort IDS sudah berhasil untuk mendeteksi serangan dan konfigurasi firewall
sudah dapat mencegah serangan yang masuk ke sistem.
Kata kunci : Keamanan Jaringan Komputer, Buffer Oveflow, IDS Snort, AChat,
Metasploit Faramework, Firewall
xiv