Kombinasi Algoritma AES, RC4 Dan Elgamal Dalam Skema Kriptografi Hybrid Untuk Keamanan Data

KOMBINASI ALGORITMA AES, RC4 DAN ELGAMAL
DALAM SKEMA KRIPTOGRAFI HYBRID
UNTUK KEAMANAN DATA
TESIS

ADI WIDARMA
137038031

PROGRAM STUDI MAGISTER TEKNIK INFORMATIKA
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
MEDAN
2016

Universitas Sumatera Utara

KOMBINASI ALGORITMA AES, RC4 DAN ELGAMAL
DALAM SKEMA KRIPTOGRAFI HYBRID
UNTUK KEAMANAN DATA
TESIS
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah

Magister Teknik Informatika

ADI WIDARMA
137038031

PROGRAM STUDI MAGISTER TEKNIK INFORMATIKA
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
MEDAN
2016

Universitas Sumatera Utara

PERSETUJUAN

Judul

: KOMBINASI
ELGAMAL

ALGORITMA
DALAM

AES,

SKEMA

RC4

DAN

KRIPTOGRAFI

HYBRID UNTUK KEAMANAN DATA
Kategori

: TESIS

Nama

: ADI WIDARMA

Nomor Induk Mahasiswa

: 137038031

Program Studi

: MAGISTER TEKNIK INFORMATIKA

Fakultas

: ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA

Komisi Pembimbing

:

Pembimbing 2

Pembimbing 1

Dr. Rahmat W. Sembiring, M.Sc

Prof. Dr. Tulus

Diketahui/disetujui oleh
Program Studi Magister Teknik Informatika
Ketua,

Prof. Dr. Muhammad Zarlis
19570701 198601 1003

Universitas Sumatera Utara

PERNYATAAN

KOMBINASI ALGORITMA AES, RC4 DAN ELGAMAL DALAM SKEMA
KRIPTOGRAFI HYBRID UNTUK KEAMANAN DATA

TESIS

Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa
kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan, 9 Februari 2016

Adi Widarma
137038031

Universitas Sumatera Utara

PERNYATAAN PERSETUJUAN PUBLIKASI
KARYA ILMIAH UNTUK KEPENTINGAN
AKADEMIS

Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan di
bawah ini:

Nama

: Adi Widarma

NIM

: 137038031

Program Studi

: Magister Teknik Informatika

Jenis Karya Ilmiah

: Tesis

Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada
Universitas Sumatera Utara Hak Bebas Royalti Non-Eksklusif (Non-Exclusive Royalty
Free Right) atas tesis saya yang berjudul:

KOMBINASI ALGORITMA AES, RC4 DAN ELGAMAL DALAM SKEMA
KRIPTOGRAFI HYBRID UNTUK KEAMANAN DATA

Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti NonEksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media,
memformat, mengelola dalam bentuk database, merawat dan mempublikasikan tesis
saya tanpa menerima izin dari saya selama tetap mencantumkan nama saya sebagai
penulis dan sebagai pemegang dan/atau sebagai pemilik hak cipta.

Demikian pernyataan ini dibuat dengan sebenarnya.

Medan, 9 Februari 2016

Adi Widarma
137038031

Universitas Sumatera Utara

Telah diuji pada
Tanggal: 9 Februari 2016

PANITIA PENGUJI TESIS
Ketua

: Prof. Dr. Tulus

Anggota

: 1. Dr. Rahmat W. Sembiring, M.Sc
2. Prof. Dr. Muhammad Zarlis
3. Dr. Syahril Effendi

Universitas Sumatera Utara

RIWAYAT HIDUP

DATA PRIBADI

Nama Lengkap (berikut gelar)

: Adi Widarma, S.Si

Tempat dan Tanggal Lahir

: Kisaran, 01 Oktober 1985

Alamat Rumah

: Jl. Bromo Gg. Jermal 1 no. 8G Medan

Telepon/Faks/HP

: 0852 7594 5045

E-mail

: adiwidarma@unimed.ac.id

Instansi Tempat Bekerja

: Unit Pelaksana Teknis Teknologi Informasi

dan Komunikasi (UPT TIK) Universitas
Negeri Medan

Alamat Kantor

: Jl. Willem Iskandar Psr.V Medan Estate
Medan

DATA PENDIDIKAN

SD

: SDN 014672 Tanjung Alam Asaham

TAMAT: 1997

SMP

: SMP Negeri 6 Kisaran

TAMAT: 2000

SMA

: SMK Negeri 2 Kisaran

TAMAT: 2003

S1

: FMIPA Universitas Negeri Medan

TAMAT: 2010

S2

: FASILKOM-TI USU

TAMAT: 2016

Universitas Sumatera Utara

KATA PENGANTAR

Alhamdulillah, pertama tama dan yang paling utama, penulis mengucapkan
puji dan syukur kehadirat Allah SWT, yang telah melimpahkan rahmat dan karuniaNya kepada penulis, sehingga penulis dapat menyelesaikan tesis ini dengan sebaikbaiknya. Penulis mengucapkan terima kasih yang tak terhingga kepada:
1. Rektor Universitas Sumatera Utara, Bapak Prof. Dr. Runtung Sitepu, S.H.,
M.Hum., atas kesempatan yang telah diberikan kepada penulis untuk dapat
mengikuti

dan

menyelesaikan

pendidikan

Program

MagisterTeknik

Informatika Fakultas Ilmu Komputer dan Teknologi Informasi Universitas
Sumatera Utara.
2. Ketua Program Studi Magister Teknik Informatika, Bapak Prof. Dr.
Muhammad Zarlis. Sekretaris Program Studi Teknik Informatika, Bapak M.
Andri Budiman, ST, M.Comp. Sc, MEM. Beserta seluruh Staf Pengajar
Program Studi Magister Teknik Informatika Fakultas Ilmu Komputer dan
Teknologi Informasi Universitas Sumatera Utara.
3. Terima kasih tak terhingga dan penghargaan yang setinggi-tingginya atas
bimbingan, pengarahan dan dorongan yang telah diberikan selama penyusunan
tesis ini kepada Bapak Prof. Dr. Tulus selaku Pembimbing Utama, demikian
juga kepada Dr. Rahmat W. Sembiring, M.Sc, selaku Pembimbing Kedua
yang dengan penuh kesabaran menuntun dan membimbing penulis hingga
selesainya tesis ini dengan baik.
4. Terima kasih yang tak terhingga serta penghargaan setingggi-tingginya juga
penulis ucapkan kepada Bapak Prof. Dr. Muhammad Zarlis, Bapak Dr. Syahril
Efendi, S.Si., M.IT sebagai Dosen Pembanding yang telah memberikan saran
dan masukan serta arahan yang baik demi penyelesaian tesis ini.
5. Terima kasih yang tak terhingga serta penghargaan setingggi-tingginya juga
penulis ucapkan kepada Bapak Prof. Dr. Syawal Gultom, M.Pd., Bapak Prof.
Dr. Abdul Hamid K, M.Pd., Bapak Dr. Restu, M.S, Bapak Irwan Effendi
Harahap, S.Pddan Bapak Yon Rinaldi, SE., M.Si sebagai pimpinan Universitas
Negeri Medan

yang telah memberikan kesempatan kepada penulis

untukmelanjutkan studi lanjut pada Program Studi S2 Teknik Informatika ini.

Universitas Sumatera Utara

6. Terima kasih yang tak terhingga juga penulis ucapkan kepada Ayahanda
tercinta, Almh. ibunda tercinta, Ayahanda dan Ibunda Mertua, istri tercinta
Heni Sari dan anak tersayang Mirza Alvaro, serta seluruh keluarga besar yang
selalu memberi do’a dan dukungan kepada penulis.
7. Terima kasih yang tak terhingga juga penulis ucapkan kepada Bapak Prof. Dr.
Khairil Anshari, M.Pd., Bapak Drs. Chairul Azmi, M. Pd., Abangda Prof.
Indra Maipita, Ph.D, Abangda Dr. Haikal Rahman, Abangda Andra Oktavian
Norman, S.E, Abangda Mohamad Ihwani, S.Si, M.Kom, serta seluruh keluarga
besar Tim ICT Universitas Negeri Medan yang selalu memberi do’a dan
dukungan kepada penulis.
8. Terima kasih yang tak terhingga juga penulis ucapkan kepada seluruh staf
pegawai Program Studi Magister S2 Teknik Informatika Fakultas Ilmu
Komputer dan Teknik Informatika, serta teman-teman mahasiswa/i angkatan
2012 dan 2013 terutama buat Oris Krianto Sulaiman, M.Kom, yang telah
banyak membantu penulis menyelesaikan tesis ini.
9. Dan seluruh pihak yang tidak dapat disebutkan satu persatu dalam tesis ini,
sekali lagi terima kasih atas segala bantuan dan doa yang telah di berikan.
Penulis menyadari bahwa penelitian ini masih jauh dari kata sempurna, ini
dikarenakan oleh keterbatasan, kemampuan dan pengetahuan penulis. Harapan
penulis, semoga penelitian ini bermanfaat bagi penulis khususnya dan pembaca pada
umumnya. Sekali lagi penulis mengucapkan terima kasih, semoga Allah SWT
membalas kebaikan yang telah di berikan. Aamiin.

Medan, 9 Februari 2016
Penulis,

Adi Widarma
NIM: 137038031

Universitas Sumatera Utara

ABSTRAK

Pengiriman atau pertukaran data adalah hal yang sering terjadi dalam dunia teknologi
informasi. Data yang dikirim kadang sering berisi data informasi yang penting bahkan
sangat rahasia dan harus dijaga keamanannya. Untuk menjaga keamanan data, dapat
dilakukan dengan menggunakan teknik kriptografi. Teknik keamanan data dilakukan
pengamanan berlapis dengan melakukan kombinasi algoritma kriptografi

simetri

Advanced Encryption Standard (AES) dengan RC4 dengan menerapkan skema
hybrid, dimana data dienkripsi dengan algoritma simetri sedangkan kunci algoritma
simetri dienkripsi menggunakan algoritma asimetri atau algoritma kunci publik.
Algoritma simetri merupakan algoritma enkripsi dan dekripsi menggunakan kunci
yang sama. Untuk pengamanan kunci simetri dilakukan dengan menggunakan
algoritma kunci publik Elgamal.

Universitas Sumatera Utara

COMBINATION ALGORITHM AES , RC4 AND ElGAMAL
CRYPTOGRAPHY SCHEME IN HYBRID
FOR DATA SECURITY

ABSTRACT

Delivery or exchange of data is something that often happens in the world of
information technology. Data sent sometimes often contain important
information data even highly confidential and must be safeguarded. To maintain
data security, can be done using cryptographic techniques. The data security
techniques layered security with a combination of symmetric cryptographic
algorithm Advanced Encryption Standard ( AES ) with RC4 by applying the
hybrid scheme, where data is encrypted with a symmetric algorithm while the
key is encrypted using a symmetric algorithm asymmetric algorithm or a public
key algorithm. Symmetric algorithm is an algorithm of encryption and
decryption using the same key. For the security of symmetric keys is done by
using a public key algorithm ElGamal .

Universitas Sumatera Utara

DAFTAR ISI

Hal.
KATA PENGANTAR.. .................................................................................. vii
ABSTRAK .................................................................................................... ix
ABSTRACT.. ................................................................................................ x
DAFTAR ISI.. ............................................................................................... xi
DAFTAR TABEL. ......................................................................................... xiii
DAFTAR GAMBAR.. ................................................................................... xv

BAB 1 PENDAHULUAN .......................................................................................... 1
1.1 Latar Belakang.............................................................................................. 1
1.2 Perumusan Masalah ...................................................................................... 2
1.3 Batasan Masalah ........................................................................................... 2
1.4 Tujuan Penelitian .......................................................................................... 3
1.5 Manfaat Penelitian ........................................................................................ 3
BAB 2 TINJAUAN PUSTAKA................................................................................. 4
2.1 Data dan Informasi........................................................................................ 4
2.2 Keamanan Data............................................................................................. 4
2.3 Kriptografi .................................................................................................... 5
2.3.1 Definisi Kriptografi. ........................................................................... 5
2.3.2 Konsep Dasar Kriptografi. ................................................................. 5
2.3.3 Tujuan Kriptografi.. ............................................................................ 6
2.4 Jenis Kriptografi. .......................................................................................... 7
2.4.1 Kriptografi Kunci Simetri................................................................... 7
2.4.2 Kriptografi Kunci Asimetri ................................................................ 9
2.5 Enkripsi Hibrid (Hybrid Encryption). .......................................................... 10
2.6 Algoritma AES (Advanced Encryption Standard) .................. .................... 11
2.7 AlgoritmaRC4.............. ................................................................................ 20
2.8 Algoritma Elgamal.. ..................................................................................... 21
2.9 Teori Bilangan................................................................................... ........... 24
2.9.1 Teorema Euclidean.. ........................................................................... 24
2.9.2 Aritmetika Modulo.. ........................................................................... 25
2.9.3 Bilangan Prima... ................................................................................ 25
2.9.4 Metode Fermat.. ................................................................................. 25
2.10 Aplikasi Client Server.. .............................................................................. 26
2.11 Riset Terkait.. ............................................................................................. 27
BAB 3 METODE PENELITIAN .............................................................................. 29
3.1 Metode Pengumpulan Data .......................................................................... 29
3.2 Bahan dan Peralatan ..................................................................................... 29
3.3 Metode Pengembangan................................................................................. 29
3.3.1Rancangan Enkripsi Kombinasi Dalam Skema Hybrid... ................... 30
3.3.2 Rancangan Dekripsi Kombinasi AES, RC4 dan Elgamal Dalam

Universitas Sumatera Utara

Skema Hybrid ....................................................................................... 31
3.3.3Proses Enkripsi Menggunakan Algoritma AES128 ...........................32
3.3.4 Proses Enkripsi Menggunakan Algoritma RC4…………………......51
3.3.5 Proses Enkripsi dengan Algoritma Elgamal………………………...58
3.3.6. Proses Dekripsi dengan Algoritma Elgamal…..................................62
3.3.7. Proses Dekripsi dengan Algoritma RC4……………………………66
3.3.8. Proses Dekripsi dengan Algoritma AES……………………………73
3.3.9. Hasil enkripsi model kombinasi dalam skema hybrid……………..85
3.3.10. Hasil dekripsi model kombinasi dalam skema hybrid……………86
BAB 4 HASIL DAN PEMBAHASAN. ..................................................................... 87
4.1. Pengantar…………………………………………………………………..87
4.2. Simulasi…… ............................................................................................... 87
4.2.1. Model kombinasi skema hibrid untuk enkripsi teks………………...89
4.2.2. Model kombinasi skema hibrid untuk dekripsi teks………………...92
4.2.3. Model kombinasi skema hybrid untuk enkripsi pesan dan file……..95
4.2.4. Model kombinasi skema hybrid untuk dekripsi pesan dan file……..97
4.3. Pengujian dan analisa hasil……………………………………………… 100
4.3.1. Pesan teks………………………………………………………… 100
4.3.2. Pesan teks dan file…………………………………………………103
BAB 5 KESIMPULAN DAN SARAN.. .................................................................. 105
5.1 Kesimpulan.. ............................................................................................... 105
5.2 Saran.. ......................................................................................................... 106
DAFTAR PUSTAKA.. ............................................................................................. 107
Lampiran 1.
Lampiran 2.
Lampiran 3.

Universitas Sumatera Utara

DAFTAR TABEL

TABEL 1. Blok jenis AES

12

TABEL 2. S-Box enkripsi AES

14

TABEL 3. Bilangan polinomial untuk mixcolumns

15

TABEL 4. S-Box invers Dekripsi AES

17

TABEL 5. Rcon

18

TABEL 7. Riset terkait

27

TABEL 8. Array plaintext dan key enkripsi AES

34

TABEL 9. Array plainhex dan keyhex enkripsi AES

34

TABEL 10. Rcon proses roundkey enkripsi AES

34

TABEL 11. Proses substitusi dengan S-box

35

TABEL 12. Hasil roundkey1

36

TABEL 13. Hasil initial roundkey

37

TABEL 14. Proses S-Box kolom 1 round 1

38

TABEL 15. Proses S-Box kolom 2 round 1

38

TABEL 16. Proses S-Box kolom 3 round 1

38

TABEL 17. Proses S-Box kolom 4 round 1

39

TABEL 18. Hasil proses subbytes

39

TABEL 19. Hasil proses shiftrows

40

TABEL 20. Hasil proses mixcolumns

43

TABEL 21. Hasil proses addroundkey putaran 1

44

TABEL 22. Konversi ciphertext (hex) ke ciphertext (chr) ASCII

51

TABEL 23. Proses inisialisasi key enkripsi RC4

52

TABEL 24. Hasil proses permutasi enkripsi RC4

56

TABEL 25. Hasil proses PRGA

57

TABEL 26. Hasil proses hexkeystream dengan hexplaintext

58

TABEL 27. Hasil konversi enkripsi kunci AES

62

TABEL 28. Hasil konversi dekripsi kunci AES

66

TABEL 29. Proses inisialisasi Sbox dan key dekripsi RC4

68

TABEL 30. Hasil proses permutasi dekripsi RC4

71

TABEL 31. Hasil konversi dekripsi RC4

72

Universitas Sumatera Utara

TABEL 32. Hasil operasi XOR dekripsi RC4

73

TABEL 33. Array ciphertext dan key AES

75

TABEL 34. Array cipherhex dan key hex AES

75

TABEL 35. Rcon ekspansi kunci

75

TABEL 36. Proses substitusi dengan S-Box

76

TABEL 37. Hasil proses Roundkey1

77

TABEL 38. Hasil konversi hexadecimal ke Chr ASCII dekripsi AES

84

TABEL 39. Hasil enkripsi pesan

100

TABEL 40. Estimasi waktu enkripsi dan dekripsi pesan dengan AES dan RC4

101

TABEL 41. Estimasi waktu enkripsi dan dekripsi kunci dengan Elgamal

102

TABEL 42. Estimasi waktu enkripsi dan dekripsi file

103

Universitas Sumatera Utara

DAFTAR GAMBAR

Gambar 2.1 Proses enkripsi dan dekripsi ................................................................... 6
Gambar 2.2 Skema kriptografi simetri .................................................................. ... . 7
Gambar 2.3 Skema algoritma kriptografi asimetri................................................. ... 9
Gambar 2.4 Proses enkripsi hybrid. ........................................................................... 10
Gambar 2.5 Proses dekripsi hybrid.. .......................................................................... 11
Gambar 2.6 Blok diagram enkripsi algoritma AES.............. ..................................... 13
Gambar 2.7 Proses shiftRows… ................................................................................ 14
Gambar 2.8Blok diagram dekripsi algoritma AES......................................... ........... 16
Gambar 2.9 Proses invShiftRows.. ............................................................................ 17
Gambar 2.10 Proses ekspansi kunci…....................................................................... 19
Gambar 2.11 Blok diagram algoritma RC4.. ............................................................. 20
Gambar 2.12 Diagram blok algoritma Elgamal.. ....................................................... 22
Gambar 2.13 Ilustrasi proses client server.. ............................................................... 27
Gambar 3.3 Diagram alir proses enkripsi AES.. ........................................................ 33
Gambar 3.4 Diagram alir proses enkripsi RC4… ...................................................... 52
Gambar 3.5 Diagram alir proses enkripsi Elgamal.. .................................................. 59
Gambar 3.6 Diagram alir proses dekripsi Elgamal.. .................................................. 63
Gambar 3.7 Diagram alir proses dekripsi RC4.. ........................................................ 67
Gambar 3.8 Diagram alir proses dekripsi algoritma AES.. ....................................... 74
Gambar 3.9 Perhitungan manual enkripsi model kombinasi skema hybrid.. ............ 85
Gambar 3.10 Perhitungan manual dekripsi model kombinasi dalam skema hybrid.. 86
Gambar 4.1 Login kombinasi skema hybrid.. ............................................................ 88
Gambar 4.2 Form tujuan pengiriman.. ....................................................................... 88
Gambar 4.3 Form enkripsi. ........................................................................................ 89
Gambar 4.4 Enkripsi teks dengan AES...................................................................... 89
Gambar 4.5 Hasil enkripsi AES. ................................................................................ 90
Gambar 4.6 Hasil enkripsi kunci AES dengan Elgamal. ........................................... 90
Gambar 4.7 Hasil enkripsi ciphertext AES dengan RC4.. ......................................... 91
Gambar 4.8 Proses enkripsi kunci RC4 dengan Elgamal. ......................................... 91
Gambar 4.9 Ciphertext pesan dan kunci yang dikirim............................................... 92

Universitas Sumatera Utara

Gambar 4.10 Proses dekripsi kunci RC4. .................................................................. 93
Gambar 4.11 Hasil dekripsi dengan RC4. ................................................................. 93
Gambar 4.12 Dekripsi kunci AES dengan Elgamal................................................... 94
Gambar 4.13 Hasil dekripsi ciphertext RC4 dengan AES. ........................................ 94
Gambar 4.14 Enkripsi pesan dan file dengan AES.. .................................................. 95
Gambar 4.15 Hasil enkripsi pesan dan file dengan AES. .......................................... 95
Gambar 4.16 Hasil enkripsi kunci AES dengan Elgamal. ......................................... 96
Gambar 4.17 Hasil enkripsi ciphertext AES dengan RC4.. ....................................... 96
Gambar 4.18 Proses enkripsi kunci RC4 dengan Elgamal. ....................................... 97
Gambar 4.19 Ciphertext pesan, file dan kunci yang dikirim. .................................... 97
Gambar 4.20 Proses dekripsi kunci RC4. .................................................................. 98
Gambar 4.21 Hasil dekripsi dengan RC4.. ................................................................ 98
Gambar 4.22 Dekripsi kunci AES dengan Elgamal................................................... 99
Gambar 4.23 Hasil dekripsi ciphertext RC4 dengan AES. ........................................ 99
Gambar 4.24 Grafik estimasi waktu enkripsi dekripsi pesan..................................... 101
Gambar 4.25 Grafik estimasi waktu enkripsi dekripsi kunsi AES dan RC4 ............. 102
Gambar 4.26 Grafik estimasi waktu enkripsi dekripsi file ........................................ 104

Universitas Sumatera Utara