Perancangan dan Implementasi Aplikasi Etl Untuk Data Warehouse.
PERANCANGAN DAN IMPLEMENTASI APLIKASI ETL UNTUK
DATA WAREHOUSE
KOMPETENSI REKAYASA PERANGKAT LUNAK
SKRIPSI
HALAMAN JUDUL
MADE MAHADIPTA
NIM. 1208605078
PROGRAM STUDI TEKNIK INFORMATIKA
JURUSAN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS UDAYANA
BUKIT JIMBARAN
2016
LEMBAR PENGESAHAN TUGAS AKHIR
Judul
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data
Warehouse
Kompetensi
: Rekasaya Prangkat Lunak
Nama
: Made Mahadipta
NIM
: 1208605078
Tanggal Seminar : 25 Juli 2016
Disetujui Oleh :
Pembimbing I
Penguji I
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
I Gede Santi Astawa, S.T.,M.Cs.
NIP. 198012062006041003
Pembimbing II
Penguji II
Made Agung Raharja, S.Si, M.Cs.
NIP. 1975010220130122003
Ida Bagus Made Mahendra, S.Kom, M.Kom.
NIP. 198006212008121002
Penguji III
Luh Arida Ayu Rahning Putri, S.Kom., M.Cs.
NIP. 198209182008122002
Mengetahui,
Jurusan Ilmu Komputer FMIPA UNUD
Ketua,
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
iii
PERANCANGAN DAN IMPLEMENTASI APLIKASI ETL UNTUK
DATA WAREHOUSE
KOMPETENSI REKAYASA PERANGKAT LUNAK
SKRIPSI
HALAMAN JUDUL
MADE MAHADIPTA
NIM. 1208605078
PROGRAM STUDI TEKNIK INFORMATIKA
JURUSAN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS UDAYANA
BUKIT JIMBARAN
2016
SURAT PERNYATAAN KEASLIAN KARYA ILMIAH
Yang bertanda tangan di bawah ini menyatakan bahwa naskah Skripsi dengan
judul:
Perancangan dan Implementasi Aplikasi ETL
………………………………………………………………………………………
Untuk Data Warehouse
………………………………………………………………………………………
Nama
: Made Mahadipta
NIM
: 1208605078
Program Studi : Teknik Informatika
E-mail
: made.mahadipta@gmail.com
Nomor telp/HP : 087861556001
Alamat
: Banjar Jelantik Mamoran, Desa Tojan, Klungkung, Bali
Belum pernah dipublikasikan dalam dokumen skripsi, jurnal nasional maupun
internasional atau dalam prosiding manapun, dan tidak sedang atau akan diajukan
untuk publikasi di jurnal atau prosiding manapun. Apabila di kemudian hari
terbukti terdapat pelanggaran kaidah-kaidah akademik pada karya ilmiah saya,
maka saya bersedia menanggung sanksi-sanksi yang dijatuhkan karena kesalahan
tersebut, sebagaimana diatur oleh Peraturan Menteri Pendidikan Nasional Nomor
17 Tahun 2010 tentang Pencegahan dan Penanggulangan Plagiat di Perguruan
Tinggi.
Demikian Surat Pernyataan ini saya buat dengan sesungguhnya untuk dapat
dipergunakan bilamana diperlukan.
Jimbaran, Juli 2016
Yang membuat pernyataan,
(Made Mahadipta)
NIM. 1208605078
ii
LEMBAR PENGESAHAN TUGAS AKHIR
Judul
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data
Warehouse
Kompetensi
: Rekasaya Prangkat Lunak
Nama
: Made Mahadipta
NIM
: 1208605078
Tanggal Seminar : 25 Juli 2016
Disetujui Oleh :
Pembimbing I
Penguji I
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
I Gede Santi Astawa, S.T.,M.Cs.
NIP. 198012062006041003
Pembimbing II
Penguji II
Made Agung Raharja, S.Si, M.Cs.
NIP. 1975010220130122003
Ida Bagus Made Mahendra, S.Kom, M.Kom.
NIP. 198006212008121002
Penguji III
Luh Arida Ayu Rahning Putri, S.Kom., M.Cs.
NIP. 198209182008122002
Mengetahui,
Jurusan Ilmu Komputer FMIPA UNUD
Ketua,
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
iii
Judul
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data Warehouse
Nama
: Made Mahadipta
NIM
: 1208605078
Pembimbing I
: Agus Muliantara, S.Kom, M.Kom
Pembimbing II
: Made Agung Raharja, S.Si., M.Cs
ABSTRAK
Perkembangan teknologi informasi pada era globalisasi ini sedang melaju dan
tumbuh dengan pesatnya. Tuntutan akan tersedianya informasi bagi pengguna informasi
tersebut harus relevan, tepat waktu dan akurat. Bertolak dari hal tersebut manusia
mempunyai inovasi-inovasi untuk membuat suatu sistem informasi yang menunjang
kegiatan operasional mereka. Dikarenakan banyak kegiatan operasional yang dilakukan
maka data transaksi operasional akan semakin banyak pula. Besarnya transaksi yang
dilakukan oleh sistem informasi operasional menyebabkan data yang disimpan dalam
database menjadi besar sehingga menimbulkan suatu masalah yaitu proses query untuk
mendapatkan informasi berupa summary menjadi lambat dan membebani server karena
beban proses transaksi dan proses analisis masih dalam satu server.
Data warehouse merupakan sebuah solusi sistem informasi yang digunakan untuk
menampung semua data summary dari sistem informasi operasional sehingga mampu
menghasilkan report berupa summary dengan proses query yang cepat. Untuk
memudahkan pembuatan data warehouse, dibutuhkan aplikasi dinamis sebagai
penghubung atau middleware yang bertugas membantu pengolahan data sebelum data
tersebut digunakan oleh data warehouse. Aplikasi ini disebut ETL (extraction,
transformation, loading). Keberadaan ETL ini akan menjadi pondasi dari data warehouse.
Keberhasilan mengembangkan aplikasi ETL menggunakan metode SDLC (System
Development Life Cycle) serta database Oracle dengan fungsi PL/SQL ini mampu
menghasilkan aplikasi ETL yang dinamis. Dinamis mempunyai arti proses dalam ETL
dalam data warehouse tersebut bisa disesuaikan oleh pengguna yang menggunakan
aplikasi ini. Hasil evaluasi pengujian terhadap sistem dengan menggunakan black box
sebesar 95%, dimana dengan menggunaan PL/SQL membuat proses transformasi bisa
dilakukan sesuai kebutuhan pengguna tanpa harus melakukan perubahan terhadap kode
program aplikasi dan Konfigurasi yang dilakukan pada proses ETL sangat menentukan
proses ETL yang akan terjadi dalam sistem.
Kata Kunci : Sistem Informasi, Data Warehouse, ETL, PL/SQL
iv
Title
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data
Warehouse
Name
: Made Mahadipta
Registration
: 1208605078
First Supervisor
: Agus Muliantara, S.Kom, M.Kom
Second Supervisor
: Made Agung Raharja, S.Si., M.Cs
ABSTRACT
The development of information technology in this era of globalization is speeding
and growing rapidly. The demand for the availability of information for users must be
relevant, timely and accurate. As a result, humans have innovations to create an
information system to support their operations. Due to many operations performed, the
data of the transactions will increase. The amount of transactions performed by the
operational information system resulted in the data stored in the database becomes large,
causing a problem namely the query process to obtain summary information to become
slow and burdensome to server because load transaction processing and analysis
processes are still in one server.
Data warehouse is an information system solution utilized to hold all data summary
of operational information system in order to produce a summary report form with the
faster query process. To facilitate the production of data warehouse, it takes an ETL
application as an interface or middleware assisting the process of data before being
applied by the data warehouse. However, ETL application in the market is not dynamic
enough to address all the needs of dynamic data processing for the data warehouse in terms
of making viewing data and dimensional modeling. Thus, this study was designed to
implement a dynamic ETL application as well as to combine ETL application with PL /
SQL. By PL / SQL, it would be easier to determine how the data processing is accomplished
to support the needs of data warehouse. In addition, the ETL application also features the
dynamic data viewing.
The success of developing ETL application using SDLC (System Development Life
Cycle) as well as Oracle databases with the functions of PL / SQL was capable of producing
a dynamic ETL application. Dynamic means that the processes in the ETL of data
warehouse ETL can be customized by users who use this application. The results of
evaluation testing of the system by using the black box at 95%, which by the use PL / SQL
made the transformation process can be carried out according to the user needs without
having to make changes to the code of the application program and configuration
performed on the ETL process will determine the ETL process that will take place in the
system.
Keywords: Information Systems, Data Warehouse, ETL, PL / SQL
v
KATA PENGANTAR
Puji syukur penulis panjatkan kehadapan Tuhan Yang Maha Esa/Ida Sang Hyang
Widhi Wasa atas karunia-Nya sehingga penulis dapat menyelesaikan proposal tugas akhir
ini. Proposal tugas akhir yang berjudul “Perancangan Dan Implementasi Aplikasi Etl untuk
Data Warehouse” ini disusun sebagai syarat untuk memenuhi sebagian persyaratan
menyelesaikan Program Sarjana S-1 pada Jurusan Ilmu Komputer Universitas Udayana.
Dalam penyusunan Proposal Tugas Akhir ini, penulis mendapatkan petunjuk dan
bimbingan dari berbagai pihak sehingga dapat diselesaikan dengan baik. Pada kesempatan
ini penulis mengucapkan terima kasih yang sebesar-besarnya kepada segenap pihak yang
telah membantu, antara lain :
1. Seluruh keluarga besar yang telah memberikan dukungan khususnya bapak dan ibu
Drs. I Made Suwista dan ibu Dra.Ni Made Suasrani selaku orang tua yang telah
memberikan semangat, doa restu, dan fasilitas sehingga penulis dapat berkonsentrasi
dalam menyelesaikan tugas akhir ini.
2. Bapak Agus Muliantara, S.Kom., M.Kom. Selaku Ketua Jurusan Ilmu Komputer
Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Udayana sekaligus
sebagai Pembimbing I yang telah meluangkan waktu untuk memberikan bimbingan,
saran dan masukan dalam penyempurnaan Tugas Akhir ini.
3. Bapak Made Agung Raharja, S.Si, M.Cs. Selaku Pembimbing II yang telah banyak
membantu dan meluangkan waktu untuk penyempurnaan Tugas Akhir ini.
4. Bapak-bapak dan Ibu-ibu dosen di Jurusan Ilmu Komputer yang telah memberikan
masukan, saran, dan nasehat guna kelengkapan Tugas Akhir ini.
5. Seluruh rekan-rekan mahasiswa di Jurusan Ilmu Komputer yang sudah banyak
membantu dalam memberikan saran, kritik, dan pemecahan masalah selama proses
pelaksanaan penelitian.
6. Terima kasih yang sebesar-besarnya kepada Ni Nengah Muriani, S.Pd.yang telah
memberikan semangat, dukungan, menemani penulis dalam menyusun laporan tugas
akhir ini serta menjadi kekasih yang baik untuk penulis selama ini.
Penulis menyadari sepenuhnya bahwa Proposal Tugas Akhir ini masih jauh dari
sempurna. Oleh karena itu, segala bentuk kritik dan saran yang konstruktif dari berbagai
pihak sangat penulis hargai dan harapkan. Akhir kata, semoga Proposal Tugas Akhir ini
dapat bermanfaat dalam pengembangan ilmu pengetahuan dan teknologi khususnya dan
masyarakat pada umumnya.
Bukit Jimbaran, Juli 2015
Penulis
vi
DAFTAR ISI
HALAMAN JUDUL................................................................................................ i
SURAT PERNYATAAN KEASLIAN KARYA ILMIAH .................................... ii
LEMBAR PENGESAHAN TUGAS AKHIR ....................................................... iii
ABSTRAK ............................................................................................................. iv
ABSTRACT .............................................................................................................v
KATA PENGANTAR .............................................................................................v
DAFTAR ISI ......................................................................................................... vii
DAFTAR TABEL ....................................................................................................x
DAFTAR GAMBAR ............................................................................................. xi
DAFTAR LAMPIRAN ..........................................................................................xv
DAFTAR KODE .................................................................................................. xvi
BAB I PENDAHULUAN ........................................................................................1
1.1.
Latar Belakang..................................................................................................... 1
1.2.
Rumusan Masalah ............................................................................................... 3
1.3.
Tujuan .................................................................................................................. 3
1.4.
Batasan Masalah .................................................................................................. 3
1.5.
Manfaat ................................................................................................................ 4
1.6.
Metodologi Penelitian ......................................................................................... 4
1.6.1. Desain Penelitian .................................................................................... 4
1.6.2. Experimen dan Pengujian ....................................................................... 4
1.6.3. Evaluasi dan Validasi Hasil .................................................................... 5
BAB II TINJAUAN PUSTAKA..............................................................................6
2.1.
Konsep Data Warehouse ........................................................................ 6
2.2.
Karakteristik Data Warehouse ............................................................... 6
2.3.
Arsitektur Data Warehouse .................................................................... 9
2.4.
ETL Dalam Data Warehouse ............................................................... 10
2.5.
Oracle.................................................................................................... 13
2.6.
MySQL ................................................................................................. 15
2.7.
PostgreSQL ........................................................................................... 18
vii
2.8.
SQL Server ........................................................................................... 21
2.9.
Visual Studio 2013 ............................................................................... 23
2.10.
SDLC (Systems Development Life Cycle) ............................................ 24
2.11.
Strategi Pengujian Prangkat Lunak....................................................... 25
BAB III ANALISIS DAN PERANCANGAN ......................................................27
3.1.
Analisis Kebutuhan ........................................................................................... 27
3.1.1. Kebutuhan Fungsional .......................................................................... 27
3.1.2. Kebutuhan Non-Fungsional .................................................................. 28
3.2.
Perancangan DFD (Data Flow Diagram) ......................................................... 29
3.2.1. Context Diagram ................................................................................... 29
3.2.2. DFD Level 0 ......................................................................................... 30
3.2.3. DFD Level 1 ......................................................................................... 31
3.3.
Perancangan Entity Relationship Diagram (ERD) ............................................ 37
3.3.1. Drajat Relasi ......................................................................................... 39
3.4.
Perancangan Form Aplikasi............................................................................... 41
3.4.1. Tampilan Form Awal Aplikasi ............................................................. 41
3.4.2. Tampilan Form Connection .................................................................. 42
3.4.3. Tampilan Form Extraction ................................................................... 43
3.4.4. Tampilan Form Helper ......................................................................... 45
3.4.5. Tampilan Form Transformation and Loading ...................................... 46
3.4.6. Tampilan Form Data Mart ................................................................... 49
3.5.
Perancangan Skenario Pengujian....................................................................... 50
BAB IV HASIL DAN PEMBAHASAN ...............................................................52
4.1.
Lingkungan Perancangan dan Implementasi Aplikasi ...................................... 52
4.2.
Implementasi Database ..................................................................................... 52
4.3.
Implementasi Antarmuka .................................................................................. 61
4.3.1. Implementasi Form Awal Aplikasi ...................................................... 61
4.3.2. Implementasi Form Connection ........................................................... 63
4.3.3. Implementasi Form Extraction ............................................................. 63
4.3.4. Implementasi Form Helper................................................................... 66
4.3.5. Implementasi Form Transformation and Loading ............................... 68
4.3.6. Implementasi Form Data Mart ............................................................. 71
viii
4.4.
Implementasi Program....................................................................................... 77
4.5.
Pengujian Perangkat Lunak ............................................................................... 99
4.5.1. Pengujian Fungsionalitas Sistem (Black Box) ...................................... 99
4.5.2. Pengujian Koneksi ke Sistem Sumber ................................................ 101
4.5.3. Pengujian Proses Ekstraksi ................................................................. 103
4.5.4. Pengujian Proses Cleaning ................................................................. 110
4.5.5. Pengujian Proses Transformasi ........................................................... 114
4.5.6. Pengujian Proses Viewing Data.......................................................... 119
BAB V KESIMPULAN DAN SARAN ...............................................................125
5.1.
Kesimpulan ...................................................................................................... 125
5.2.
Saran ................................................................................................................ 125
DAFTAR PUSTAKA ..........................................................................................126
LAMPIRAN .........................................................................................................127
ix
DAFTAR TABEL
Tabel 2.1. Perbedaan data operasional dan data warehouse ................................... 7
Tabel 2.2. Tipe data oracle .................................................................................... 14
Tabel 2.3. Tipe data numerik ................................................................................. 17
Tabel 2.4. Tipe data string ..................................................................................... 17
Tabel 2.5. Tipe data waktu .................................................................................... 17
Tabel 2.6. Tipe data numeric ................................................................................. 19
Tabel 2.7. Tipe data karakter ................................................................................. 19
Tabel 2.8. Tipe data date/time ............................................................................... 19
Tabel 2.9. Tipe data network address type ............................................................ 20
Tabel 3.1. Kebutuhan Fungsional.......................................................................... 27
Tabel 3.2. Ceklist Skenario Black Box Testing...................................................... 50
Tabel 4.1. Contoh inputan dari admin langkah ke-1, 4, 7 dan ke-10 .................... 80
Tabel 4.2. Contoh inputan dari admin langkah ke-2, 5, 8 dan ke-11 .................... 80
Tabel 4.3. Contoh inputan dari admin langkah ke-3, 6, 9 dan ke-12 .................... 81
Tabel 4.4. Inputan dari Admin Create Dimension Table ....................................... 87
Tabel 4.5. Inputan dari Admin Create Fact Table ................................................. 88
Tabel 4.6. Inputan ke-1 dari Admin Create Dimension Table langkah ke-1 ......... 89
Tabel 4.7. Inputan ke-2 dari Admin Create Dimension Table langkah ke-1 ......... 89
Tabel 4.8. Inputan ke-3 dari Admin Create Dimension Table langkah ke-1 ......... 89
Tabel 4.9. Inputan chart reoisitory langkah ke 1 dari admin ................................ 92
Tabel 4.10. Inputan chart Order By langkah ke 2 dari admin ............................... 93
Tabel 4.11. Inputan chart Order By Data Limit langkah ke 2 dari admin ............ 93
Tabel 4.12. Inputan chart parameter langkah ke 3 dari admin.............................. 94
Tabel 4.13. Inputan tabular reoisitory langkah ke 1 dari admin ........................... 96
Tabel 4.14. Inputan tabular Order By langkah ke 2 dari admin ........................... 97
Tabel 4.15. Inputan tabular Order By Data Limit langkah ke 2 dari admin ......... 97
Tabel 4.16. Inputan tabular parameter langkah ke 3 dari admin .......................... 98
Tabel 4.17. Ceklist Pengujian Kebutuhan Black Box ............................................ 99
Tabel 4.18. Hasil Evaluasi Pengujian Black Box ................................................ 101
x
DAFTAR GAMBAR
Gambar 2.1. Arsitektur data warehouse (Sumber: Kimball, 2004) ........................ 9
Gambar 2.2. Arsitektur ETL (Sumber : Kimball, 2004) .........................................11
Gambar 2.3. Metode SDLC (Systems Development Life Cycle) ......................... 24
Gambar 3.1. Context Diagram Sistem .................................................................. 29
Gambar 3.2. DFD level 0 Aplikasi ETL ............................................................... 30
Gambar 3.3. DFD Level 1 – Proses Koneksi ........................................................ 31
Gambar 3.4. DFD Level 1 – Proses Ekstraksi ...................................................... 32
Gambar 3.5. DFD Level 1 – Proses Transformasi ................................................ 33
Gambar 3.6. DFD Level 1 – Proses Loading ........................................................ 34
Gambar 3.7. DFD Level 1 – Proses Data Mart Viewing ...................................... 35
Gambar 3.8 Entity Relationship Diagram (ERD) bagian 1 .................................. 37
Gambar 3.9 Entity Relationship Diagram (ERD) bagian 2 .................................. 38
Gambar 3.10 Entity Relationship Diagram (ERD) bagian 3 ................................ 39
Gambar 3.11. Tampilan Form Awal Aplikasi ........................................................ 41
Gambar 3.12. Tampilan Form Connection Profile................................................ 42
Gambar 3.13. Tampilan Form Create Extraction Profile ..................................... 43
Gambar 3.14. Tampilan Form Database Structure ............................................... 44
Gambar 3.15. Tampilan Form Extraction Proses ................................................. 44
Gambar 3.16. Tampilan Form Extraction Summary ............................................. 45
Gambar 3.17. Tampilan Form Extraction, Dimension And Fact Table ................ 45
Gambar 3.18. Tampilan Form Checking Data ...................................................... 46
Gambar 3.19. Tampilan Form Create Data Warehouse Table .............................. 47
Gambar 3.20. Tampilan Form Create Dimension Table ....................................... 47
Gambar 3.21. Tampilan Form Create Transformation Library ............................ 48
Gambar 3.22. Tampilan Form Execute Transformation Library .......................... 48
Gambar 3.23. Tampilan Form Create Data Mart (Profile – Step 1 – Step 2) ....... 49
Gambar 3.24. Tampilan Form Create Data Mart (Step 3 Tabular dan Chart) ..... 49
Gambar 3.25. Tampilan Form Viewing Data Mart ............................................... 50
xi
Gambar 4.1. Sekema Database Aplikasi ETL ...................................................... 53
Gambar 4.2. Tabel ETL_CONNECTION_DB_TYPE ......................................... 54
Gambar 4.3. Tabel ETL_CONNECTION_POOL ................................................ 54
Gambar 4.4. Tabel ETL_EXTRACTION_PROFILE ........................................... 55
Gambar 4.5. Tabel ETL_EXTRACTION_PROFILE_DETAIL ........................... 55
Gambar 4.6. Tabel ETL_CLEANING_CUSTOM_PROFILE ............................. 56
Gambar 4.7. Tabel ETL_TRANSFORMATION_PROFILE ................................ 56
Gambar 4.8. Tabel ETL_VIEWING_TABLE_PROFILE .................................... 57
Gambar 4.9. Tabel ETL_VIEWING_CHART_PROFILE .................................... 57
Gambar 4.10. Tabel ETL_VIEWING_TYPE ....................................................... 58
Gambar 4.11. Tabel ETL_VIEWING_QUERY_REPOSITORY ......................... 58
Gambar 4.12. Tabel ETL_VIEWING_QUERY_JOIN ......................................... 59
Gambar 4.13. Tabel ETL_VIEWING_QUERY_ORDER .................................... 60
Gambar 4.14. Tabel ETL_VIEWING_QUERY_GROUP .................................... 60
Gambar 4.15. Tabel ETL_VIEWING_QUERY_WHERE ................................... 61
Gambar 4.16. Implementasi Form Awal Aplikasi ................................................. 61
Gambar 4.17. Implementasi Form Connection Profile ......................................... 63
Gambar 4.18. Implementasi Form Create Extraction Profile............................... 64
Gambar 4.19. Implementasi Form Database Structure ........................................ 64
Gambar 4.20. Implementasi Form Extraction Proses........................................... 65
Gambar 4.21. Implementasi Form Extraction Summary ...................................... 66
Gambar 4.22. Implementasi Form Extraction, Dimension And Fact Table.......... 66
Gambar 4.23. Implementasi Form Checking Data ............................................... 67
Gambar 4.24. Implementasi Form Create Data Warehouse Table ....................... 68
Gambar 4.25. Implementasi Form Create Dimension Table ................................ 69
Gambar 4.26. Implementasi Form Create Transformation Library ..................... 70
Gambar 4.27. Implementasi Form Execute Transformation Library ................... 70
Gambar 4.28. Implementasi Create Data Mart Tabular (View Profile) ............... 71
Gambar 4.29. Implementasi Create Data Mart Tabular (Step 1) ......................... 71
Gambar 4.30. Implementasi Create Data Mart Tabular (Step 2) ......................... 72
Gambar 4.31. Implementasi Create Data Mart Tabular (Step 3) ......................... 73
xii
Gambar 4.32. Implementasi Create Data Mart Chart (View Profile) ................... 73
Gambar 4.33. Implementasi Create Data Mart Chart (Step 1) ............................ 74
Gambar 4.34. Implementasi Create Data Mart Chart (Step 2) ............................ 75
Gambar 4.35. Implementasi Create Data Mart Chart (Step 3) ............................ 75
Gambar 4.36. Implementasi Viewing Data Mart Tabular ..................................... 76
Gambar 4.37. Implementasi Viewing Data Mart Chart ........................................ 76
Gambar 4.38. Proses Create Connection Profile .................................................. 77
Gambar 4.39. Proses Create Extraction Profile .................................................... 79
Gambar 4.40. Proses Extraction hingga Extraction Summary .............................. 82
Gambar 4.41. Proses Cleaning Extraction Data – Replace Value ........................ 85
Gambar 4.42. Proses Create Data Warehouse Table – Dimension dan Fact ........ 86
Gambar 4.43. Proses Create Dimension Table – Reslt Dimension ....................... 88
Gambar 4.44. Proses Create Transformation Library........................................... 89
Gambar 4.45. Proses Execute Transformation Library ......................................... 91
Gambar 4.46. Proses Create Data Mart Chart (langkah 1) .................................. 92
Gambar 4.47. Proses Create Data Mart Chart (langkah 2) .................................. 93
Gambar 4.48. Proses Create Data Mart Chart (langkah 3) .................................. 94
Gambar 4.49. Hasil Proses Viewing Data Mart Chart .......................................... 95
Gambar 4.50. Proses Viewing Data Mart Tabular (Step 1) .................................. 96
Gambar 4.51. Proses Viewing Data Mart Tabular (langkah 2) ............................. 97
Gambar 4.52. Proses Viewing Data Mart Tabular (langkah 3) ............................. 98
Gambar 4.53. Hasil Proses Viewing Data Mart Tabular....................................... 99
Gambar 4.54. Menu konfigurasi koneksi sistem sumber .................................... 101
Gambar 4.55. Pembuatan konfigurasi pada server MySQL ............................... 102
Gambar 4.56. Pemanggilan profil koneksi .......................................................... 103
Gambar 4. 57. Pemilihan database dan tabel pada sistem sumber ..................... 103
Gambar 4.58. Pembuatan profil ekstraksi ........................................................... 104
Gambar 4.59. Pemanggilan profil ekstraksi ........................................................ 105
Gambar 4.60. Proses ekstraksi telah selesai ........................................................ 105
Gambar 4.61. Form informasi pada proses ekstraksi .......................................... 106
Gambar 4.62. Form informasi untuk menghapus tabel lama sebelum diekstrak 107
xiii
Gambar 4.63. Hasil ringkasan ekstraksi .............................................................. 107
Gambar 4.64. Hasil dari table destination yang berbeda .................................... 108
Gambar 4.65. Kondisi awal pada tabel target ..................................................... 109
Gambar 4.66. Hasil ekstraksi akhir pada tabel target .......................................... 109
Gambar 4.67. Hasil dari tabel sumber dan target sama....................................... 109
Gambar 4.68. Pesan error saat koneksi ke sistem sumber terputus .....................110
Gambar 4.69. Menu cleaning data.......................................................................110
Gambar 4.70. Konfigurasi pada cleaning date..................................................... 111
Gambar 4.71. Hasil dari proses cleaning date ..................................................... 111
Gambar 4.72. Konfigurasi pada cleaning null value............................................112
Gambar 4.73. Hasil proses clening null value......................................................112
Gambar 4.74. Konfigurasi pada cleaning replace value ......................................113
Gambar 4.75. Hasil proses clening replace value ................................................113
Gambar 4.76. Pembuatan library PL/SQL ...........................................................115
Gambar 4.77. Contoh tabel pada data warehouse ...............................................116
Gambar 4.78. Contoh tabel hasil ekstraksi dari sistem sumber ...........................116
Gambar 4.79. Konfigurasi pembuatan tabel dimensi ...........................................117
Gambar 4.80. Isi data yang akan ditransfer ke tabel dimensi ..............................118
Gambar 4.81. Konfigurasi pada proses transforrmasi ..........................................118
Gambar 4.82. Hasil dari proses transformasi .......................................................119
Gambar 4.83. Konfigurasi viewing data dalam bentuk tabel (langkah ke-1) ..... 120
Gambar 4.84. Konfigurasi viewing data dalam bentuk tabel (langkah ke-2) ..... 120
Gambar 4.85. Konfigurasi viewing data dalam bentuk tabel (langkah ke-3) ...... 121
Gambar 4.86. Hasil dari proses konfigurasi query string ................................... 121
Gambar 4.87. Pemanggilan profil viewing data dalam bentuk grid ................... 122
Gambar 4.88. Konfigurasi awal pada viewing data dalam bentuk grafik ........... 123
Gambar 4.89. Konfigurasi menentukan order by ................................................ 123
Gambar 4.90. Konfigurasi untuk parameter grafik yang ditampilkan ................ 124
Gambar 4.91. Hasil viewing data dalam bentuk grafik batang ........................... 124
xiv
DAFTAR LAMPIRAN
LAMPIRAN I Detail Pengujian Fungsional Black Box ...................................127
xv
DAFTAR KODE
Listing Code 4.1. Kode query save data connection ............................................. 78
Listing Code 4.2. Kode query menampilkan nama column dari tabel .................. 80
Listing Code 4.3. Kode query insert into ke tabel etl_extraction_profile ............. 81
Listing Code 4.4. Kode query insert into ke tabel etl_extraction_profile_detail .. 81
Listing Code 4.5. Kode query extraction process ................................................. 83
Listing Code 4.6. Kode query Create Table In Oracle ......................................... 83
Listing Code 4.7. Kode Generate Insert Sql query string untuk insert data ........ 83
Listing Code 4.8. Kode Insert To Oracle .............................................................. 84
Listing Code 4.9. Kode Query PL/SQL ................................................................ 90
xvi
DATA WAREHOUSE
KOMPETENSI REKAYASA PERANGKAT LUNAK
SKRIPSI
HALAMAN JUDUL
MADE MAHADIPTA
NIM. 1208605078
PROGRAM STUDI TEKNIK INFORMATIKA
JURUSAN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS UDAYANA
BUKIT JIMBARAN
2016
LEMBAR PENGESAHAN TUGAS AKHIR
Judul
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data
Warehouse
Kompetensi
: Rekasaya Prangkat Lunak
Nama
: Made Mahadipta
NIM
: 1208605078
Tanggal Seminar : 25 Juli 2016
Disetujui Oleh :
Pembimbing I
Penguji I
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
I Gede Santi Astawa, S.T.,M.Cs.
NIP. 198012062006041003
Pembimbing II
Penguji II
Made Agung Raharja, S.Si, M.Cs.
NIP. 1975010220130122003
Ida Bagus Made Mahendra, S.Kom, M.Kom.
NIP. 198006212008121002
Penguji III
Luh Arida Ayu Rahning Putri, S.Kom., M.Cs.
NIP. 198209182008122002
Mengetahui,
Jurusan Ilmu Komputer FMIPA UNUD
Ketua,
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
iii
PERANCANGAN DAN IMPLEMENTASI APLIKASI ETL UNTUK
DATA WAREHOUSE
KOMPETENSI REKAYASA PERANGKAT LUNAK
SKRIPSI
HALAMAN JUDUL
MADE MAHADIPTA
NIM. 1208605078
PROGRAM STUDI TEKNIK INFORMATIKA
JURUSAN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS UDAYANA
BUKIT JIMBARAN
2016
SURAT PERNYATAAN KEASLIAN KARYA ILMIAH
Yang bertanda tangan di bawah ini menyatakan bahwa naskah Skripsi dengan
judul:
Perancangan dan Implementasi Aplikasi ETL
………………………………………………………………………………………
Untuk Data Warehouse
………………………………………………………………………………………
Nama
: Made Mahadipta
NIM
: 1208605078
Program Studi : Teknik Informatika
: made.mahadipta@gmail.com
Nomor telp/HP : 087861556001
Alamat
: Banjar Jelantik Mamoran, Desa Tojan, Klungkung, Bali
Belum pernah dipublikasikan dalam dokumen skripsi, jurnal nasional maupun
internasional atau dalam prosiding manapun, dan tidak sedang atau akan diajukan
untuk publikasi di jurnal atau prosiding manapun. Apabila di kemudian hari
terbukti terdapat pelanggaran kaidah-kaidah akademik pada karya ilmiah saya,
maka saya bersedia menanggung sanksi-sanksi yang dijatuhkan karena kesalahan
tersebut, sebagaimana diatur oleh Peraturan Menteri Pendidikan Nasional Nomor
17 Tahun 2010 tentang Pencegahan dan Penanggulangan Plagiat di Perguruan
Tinggi.
Demikian Surat Pernyataan ini saya buat dengan sesungguhnya untuk dapat
dipergunakan bilamana diperlukan.
Jimbaran, Juli 2016
Yang membuat pernyataan,
(Made Mahadipta)
NIM. 1208605078
ii
LEMBAR PENGESAHAN TUGAS AKHIR
Judul
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data
Warehouse
Kompetensi
: Rekasaya Prangkat Lunak
Nama
: Made Mahadipta
NIM
: 1208605078
Tanggal Seminar : 25 Juli 2016
Disetujui Oleh :
Pembimbing I
Penguji I
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
I Gede Santi Astawa, S.T.,M.Cs.
NIP. 198012062006041003
Pembimbing II
Penguji II
Made Agung Raharja, S.Si, M.Cs.
NIP. 1975010220130122003
Ida Bagus Made Mahendra, S.Kom, M.Kom.
NIP. 198006212008121002
Penguji III
Luh Arida Ayu Rahning Putri, S.Kom., M.Cs.
NIP. 198209182008122002
Mengetahui,
Jurusan Ilmu Komputer FMIPA UNUD
Ketua,
Agus Muliantara, S.Kom., M.Kom.
NIP. 198006162005011001
iii
Judul
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data Warehouse
Nama
: Made Mahadipta
NIM
: 1208605078
Pembimbing I
: Agus Muliantara, S.Kom, M.Kom
Pembimbing II
: Made Agung Raharja, S.Si., M.Cs
ABSTRAK
Perkembangan teknologi informasi pada era globalisasi ini sedang melaju dan
tumbuh dengan pesatnya. Tuntutan akan tersedianya informasi bagi pengguna informasi
tersebut harus relevan, tepat waktu dan akurat. Bertolak dari hal tersebut manusia
mempunyai inovasi-inovasi untuk membuat suatu sistem informasi yang menunjang
kegiatan operasional mereka. Dikarenakan banyak kegiatan operasional yang dilakukan
maka data transaksi operasional akan semakin banyak pula. Besarnya transaksi yang
dilakukan oleh sistem informasi operasional menyebabkan data yang disimpan dalam
database menjadi besar sehingga menimbulkan suatu masalah yaitu proses query untuk
mendapatkan informasi berupa summary menjadi lambat dan membebani server karena
beban proses transaksi dan proses analisis masih dalam satu server.
Data warehouse merupakan sebuah solusi sistem informasi yang digunakan untuk
menampung semua data summary dari sistem informasi operasional sehingga mampu
menghasilkan report berupa summary dengan proses query yang cepat. Untuk
memudahkan pembuatan data warehouse, dibutuhkan aplikasi dinamis sebagai
penghubung atau middleware yang bertugas membantu pengolahan data sebelum data
tersebut digunakan oleh data warehouse. Aplikasi ini disebut ETL (extraction,
transformation, loading). Keberadaan ETL ini akan menjadi pondasi dari data warehouse.
Keberhasilan mengembangkan aplikasi ETL menggunakan metode SDLC (System
Development Life Cycle) serta database Oracle dengan fungsi PL/SQL ini mampu
menghasilkan aplikasi ETL yang dinamis. Dinamis mempunyai arti proses dalam ETL
dalam data warehouse tersebut bisa disesuaikan oleh pengguna yang menggunakan
aplikasi ini. Hasil evaluasi pengujian terhadap sistem dengan menggunakan black box
sebesar 95%, dimana dengan menggunaan PL/SQL membuat proses transformasi bisa
dilakukan sesuai kebutuhan pengguna tanpa harus melakukan perubahan terhadap kode
program aplikasi dan Konfigurasi yang dilakukan pada proses ETL sangat menentukan
proses ETL yang akan terjadi dalam sistem.
Kata Kunci : Sistem Informasi, Data Warehouse, ETL, PL/SQL
iv
Title
: Perancangan Dan Implementasi Aplikasi ETL Untuk Data
Warehouse
Name
: Made Mahadipta
Registration
: 1208605078
First Supervisor
: Agus Muliantara, S.Kom, M.Kom
Second Supervisor
: Made Agung Raharja, S.Si., M.Cs
ABSTRACT
The development of information technology in this era of globalization is speeding
and growing rapidly. The demand for the availability of information for users must be
relevant, timely and accurate. As a result, humans have innovations to create an
information system to support their operations. Due to many operations performed, the
data of the transactions will increase. The amount of transactions performed by the
operational information system resulted in the data stored in the database becomes large,
causing a problem namely the query process to obtain summary information to become
slow and burdensome to server because load transaction processing and analysis
processes are still in one server.
Data warehouse is an information system solution utilized to hold all data summary
of operational information system in order to produce a summary report form with the
faster query process. To facilitate the production of data warehouse, it takes an ETL
application as an interface or middleware assisting the process of data before being
applied by the data warehouse. However, ETL application in the market is not dynamic
enough to address all the needs of dynamic data processing for the data warehouse in terms
of making viewing data and dimensional modeling. Thus, this study was designed to
implement a dynamic ETL application as well as to combine ETL application with PL /
SQL. By PL / SQL, it would be easier to determine how the data processing is accomplished
to support the needs of data warehouse. In addition, the ETL application also features the
dynamic data viewing.
The success of developing ETL application using SDLC (System Development Life
Cycle) as well as Oracle databases with the functions of PL / SQL was capable of producing
a dynamic ETL application. Dynamic means that the processes in the ETL of data
warehouse ETL can be customized by users who use this application. The results of
evaluation testing of the system by using the black box at 95%, which by the use PL / SQL
made the transformation process can be carried out according to the user needs without
having to make changes to the code of the application program and configuration
performed on the ETL process will determine the ETL process that will take place in the
system.
Keywords: Information Systems, Data Warehouse, ETL, PL / SQL
v
KATA PENGANTAR
Puji syukur penulis panjatkan kehadapan Tuhan Yang Maha Esa/Ida Sang Hyang
Widhi Wasa atas karunia-Nya sehingga penulis dapat menyelesaikan proposal tugas akhir
ini. Proposal tugas akhir yang berjudul “Perancangan Dan Implementasi Aplikasi Etl untuk
Data Warehouse” ini disusun sebagai syarat untuk memenuhi sebagian persyaratan
menyelesaikan Program Sarjana S-1 pada Jurusan Ilmu Komputer Universitas Udayana.
Dalam penyusunan Proposal Tugas Akhir ini, penulis mendapatkan petunjuk dan
bimbingan dari berbagai pihak sehingga dapat diselesaikan dengan baik. Pada kesempatan
ini penulis mengucapkan terima kasih yang sebesar-besarnya kepada segenap pihak yang
telah membantu, antara lain :
1. Seluruh keluarga besar yang telah memberikan dukungan khususnya bapak dan ibu
Drs. I Made Suwista dan ibu Dra.Ni Made Suasrani selaku orang tua yang telah
memberikan semangat, doa restu, dan fasilitas sehingga penulis dapat berkonsentrasi
dalam menyelesaikan tugas akhir ini.
2. Bapak Agus Muliantara, S.Kom., M.Kom. Selaku Ketua Jurusan Ilmu Komputer
Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Udayana sekaligus
sebagai Pembimbing I yang telah meluangkan waktu untuk memberikan bimbingan,
saran dan masukan dalam penyempurnaan Tugas Akhir ini.
3. Bapak Made Agung Raharja, S.Si, M.Cs. Selaku Pembimbing II yang telah banyak
membantu dan meluangkan waktu untuk penyempurnaan Tugas Akhir ini.
4. Bapak-bapak dan Ibu-ibu dosen di Jurusan Ilmu Komputer yang telah memberikan
masukan, saran, dan nasehat guna kelengkapan Tugas Akhir ini.
5. Seluruh rekan-rekan mahasiswa di Jurusan Ilmu Komputer yang sudah banyak
membantu dalam memberikan saran, kritik, dan pemecahan masalah selama proses
pelaksanaan penelitian.
6. Terima kasih yang sebesar-besarnya kepada Ni Nengah Muriani, S.Pd.yang telah
memberikan semangat, dukungan, menemani penulis dalam menyusun laporan tugas
akhir ini serta menjadi kekasih yang baik untuk penulis selama ini.
Penulis menyadari sepenuhnya bahwa Proposal Tugas Akhir ini masih jauh dari
sempurna. Oleh karena itu, segala bentuk kritik dan saran yang konstruktif dari berbagai
pihak sangat penulis hargai dan harapkan. Akhir kata, semoga Proposal Tugas Akhir ini
dapat bermanfaat dalam pengembangan ilmu pengetahuan dan teknologi khususnya dan
masyarakat pada umumnya.
Bukit Jimbaran, Juli 2015
Penulis
vi
DAFTAR ISI
HALAMAN JUDUL................................................................................................ i
SURAT PERNYATAAN KEASLIAN KARYA ILMIAH .................................... ii
LEMBAR PENGESAHAN TUGAS AKHIR ....................................................... iii
ABSTRAK ............................................................................................................. iv
ABSTRACT .............................................................................................................v
KATA PENGANTAR .............................................................................................v
DAFTAR ISI ......................................................................................................... vii
DAFTAR TABEL ....................................................................................................x
DAFTAR GAMBAR ............................................................................................. xi
DAFTAR LAMPIRAN ..........................................................................................xv
DAFTAR KODE .................................................................................................. xvi
BAB I PENDAHULUAN ........................................................................................1
1.1.
Latar Belakang..................................................................................................... 1
1.2.
Rumusan Masalah ............................................................................................... 3
1.3.
Tujuan .................................................................................................................. 3
1.4.
Batasan Masalah .................................................................................................. 3
1.5.
Manfaat ................................................................................................................ 4
1.6.
Metodologi Penelitian ......................................................................................... 4
1.6.1. Desain Penelitian .................................................................................... 4
1.6.2. Experimen dan Pengujian ....................................................................... 4
1.6.3. Evaluasi dan Validasi Hasil .................................................................... 5
BAB II TINJAUAN PUSTAKA..............................................................................6
2.1.
Konsep Data Warehouse ........................................................................ 6
2.2.
Karakteristik Data Warehouse ............................................................... 6
2.3.
Arsitektur Data Warehouse .................................................................... 9
2.4.
ETL Dalam Data Warehouse ............................................................... 10
2.5.
Oracle.................................................................................................... 13
2.6.
MySQL ................................................................................................. 15
2.7.
PostgreSQL ........................................................................................... 18
vii
2.8.
SQL Server ........................................................................................... 21
2.9.
Visual Studio 2013 ............................................................................... 23
2.10.
SDLC (Systems Development Life Cycle) ............................................ 24
2.11.
Strategi Pengujian Prangkat Lunak....................................................... 25
BAB III ANALISIS DAN PERANCANGAN ......................................................27
3.1.
Analisis Kebutuhan ........................................................................................... 27
3.1.1. Kebutuhan Fungsional .......................................................................... 27
3.1.2. Kebutuhan Non-Fungsional .................................................................. 28
3.2.
Perancangan DFD (Data Flow Diagram) ......................................................... 29
3.2.1. Context Diagram ................................................................................... 29
3.2.2. DFD Level 0 ......................................................................................... 30
3.2.3. DFD Level 1 ......................................................................................... 31
3.3.
Perancangan Entity Relationship Diagram (ERD) ............................................ 37
3.3.1. Drajat Relasi ......................................................................................... 39
3.4.
Perancangan Form Aplikasi............................................................................... 41
3.4.1. Tampilan Form Awal Aplikasi ............................................................. 41
3.4.2. Tampilan Form Connection .................................................................. 42
3.4.3. Tampilan Form Extraction ................................................................... 43
3.4.4. Tampilan Form Helper ......................................................................... 45
3.4.5. Tampilan Form Transformation and Loading ...................................... 46
3.4.6. Tampilan Form Data Mart ................................................................... 49
3.5.
Perancangan Skenario Pengujian....................................................................... 50
BAB IV HASIL DAN PEMBAHASAN ...............................................................52
4.1.
Lingkungan Perancangan dan Implementasi Aplikasi ...................................... 52
4.2.
Implementasi Database ..................................................................................... 52
4.3.
Implementasi Antarmuka .................................................................................. 61
4.3.1. Implementasi Form Awal Aplikasi ...................................................... 61
4.3.2. Implementasi Form Connection ........................................................... 63
4.3.3. Implementasi Form Extraction ............................................................. 63
4.3.4. Implementasi Form Helper................................................................... 66
4.3.5. Implementasi Form Transformation and Loading ............................... 68
4.3.6. Implementasi Form Data Mart ............................................................. 71
viii
4.4.
Implementasi Program....................................................................................... 77
4.5.
Pengujian Perangkat Lunak ............................................................................... 99
4.5.1. Pengujian Fungsionalitas Sistem (Black Box) ...................................... 99
4.5.2. Pengujian Koneksi ke Sistem Sumber ................................................ 101
4.5.3. Pengujian Proses Ekstraksi ................................................................. 103
4.5.4. Pengujian Proses Cleaning ................................................................. 110
4.5.5. Pengujian Proses Transformasi ........................................................... 114
4.5.6. Pengujian Proses Viewing Data.......................................................... 119
BAB V KESIMPULAN DAN SARAN ...............................................................125
5.1.
Kesimpulan ...................................................................................................... 125
5.2.
Saran ................................................................................................................ 125
DAFTAR PUSTAKA ..........................................................................................126
LAMPIRAN .........................................................................................................127
ix
DAFTAR TABEL
Tabel 2.1. Perbedaan data operasional dan data warehouse ................................... 7
Tabel 2.2. Tipe data oracle .................................................................................... 14
Tabel 2.3. Tipe data numerik ................................................................................. 17
Tabel 2.4. Tipe data string ..................................................................................... 17
Tabel 2.5. Tipe data waktu .................................................................................... 17
Tabel 2.6. Tipe data numeric ................................................................................. 19
Tabel 2.7. Tipe data karakter ................................................................................. 19
Tabel 2.8. Tipe data date/time ............................................................................... 19
Tabel 2.9. Tipe data network address type ............................................................ 20
Tabel 3.1. Kebutuhan Fungsional.......................................................................... 27
Tabel 3.2. Ceklist Skenario Black Box Testing...................................................... 50
Tabel 4.1. Contoh inputan dari admin langkah ke-1, 4, 7 dan ke-10 .................... 80
Tabel 4.2. Contoh inputan dari admin langkah ke-2, 5, 8 dan ke-11 .................... 80
Tabel 4.3. Contoh inputan dari admin langkah ke-3, 6, 9 dan ke-12 .................... 81
Tabel 4.4. Inputan dari Admin Create Dimension Table ....................................... 87
Tabel 4.5. Inputan dari Admin Create Fact Table ................................................. 88
Tabel 4.6. Inputan ke-1 dari Admin Create Dimension Table langkah ke-1 ......... 89
Tabel 4.7. Inputan ke-2 dari Admin Create Dimension Table langkah ke-1 ......... 89
Tabel 4.8. Inputan ke-3 dari Admin Create Dimension Table langkah ke-1 ......... 89
Tabel 4.9. Inputan chart reoisitory langkah ke 1 dari admin ................................ 92
Tabel 4.10. Inputan chart Order By langkah ke 2 dari admin ............................... 93
Tabel 4.11. Inputan chart Order By Data Limit langkah ke 2 dari admin ............ 93
Tabel 4.12. Inputan chart parameter langkah ke 3 dari admin.............................. 94
Tabel 4.13. Inputan tabular reoisitory langkah ke 1 dari admin ........................... 96
Tabel 4.14. Inputan tabular Order By langkah ke 2 dari admin ........................... 97
Tabel 4.15. Inputan tabular Order By Data Limit langkah ke 2 dari admin ......... 97
Tabel 4.16. Inputan tabular parameter langkah ke 3 dari admin .......................... 98
Tabel 4.17. Ceklist Pengujian Kebutuhan Black Box ............................................ 99
Tabel 4.18. Hasil Evaluasi Pengujian Black Box ................................................ 101
x
DAFTAR GAMBAR
Gambar 2.1. Arsitektur data warehouse (Sumber: Kimball, 2004) ........................ 9
Gambar 2.2. Arsitektur ETL (Sumber : Kimball, 2004) .........................................11
Gambar 2.3. Metode SDLC (Systems Development Life Cycle) ......................... 24
Gambar 3.1. Context Diagram Sistem .................................................................. 29
Gambar 3.2. DFD level 0 Aplikasi ETL ............................................................... 30
Gambar 3.3. DFD Level 1 – Proses Koneksi ........................................................ 31
Gambar 3.4. DFD Level 1 – Proses Ekstraksi ...................................................... 32
Gambar 3.5. DFD Level 1 – Proses Transformasi ................................................ 33
Gambar 3.6. DFD Level 1 – Proses Loading ........................................................ 34
Gambar 3.7. DFD Level 1 – Proses Data Mart Viewing ...................................... 35
Gambar 3.8 Entity Relationship Diagram (ERD) bagian 1 .................................. 37
Gambar 3.9 Entity Relationship Diagram (ERD) bagian 2 .................................. 38
Gambar 3.10 Entity Relationship Diagram (ERD) bagian 3 ................................ 39
Gambar 3.11. Tampilan Form Awal Aplikasi ........................................................ 41
Gambar 3.12. Tampilan Form Connection Profile................................................ 42
Gambar 3.13. Tampilan Form Create Extraction Profile ..................................... 43
Gambar 3.14. Tampilan Form Database Structure ............................................... 44
Gambar 3.15. Tampilan Form Extraction Proses ................................................. 44
Gambar 3.16. Tampilan Form Extraction Summary ............................................. 45
Gambar 3.17. Tampilan Form Extraction, Dimension And Fact Table ................ 45
Gambar 3.18. Tampilan Form Checking Data ...................................................... 46
Gambar 3.19. Tampilan Form Create Data Warehouse Table .............................. 47
Gambar 3.20. Tampilan Form Create Dimension Table ....................................... 47
Gambar 3.21. Tampilan Form Create Transformation Library ............................ 48
Gambar 3.22. Tampilan Form Execute Transformation Library .......................... 48
Gambar 3.23. Tampilan Form Create Data Mart (Profile – Step 1 – Step 2) ....... 49
Gambar 3.24. Tampilan Form Create Data Mart (Step 3 Tabular dan Chart) ..... 49
Gambar 3.25. Tampilan Form Viewing Data Mart ............................................... 50
xi
Gambar 4.1. Sekema Database Aplikasi ETL ...................................................... 53
Gambar 4.2. Tabel ETL_CONNECTION_DB_TYPE ......................................... 54
Gambar 4.3. Tabel ETL_CONNECTION_POOL ................................................ 54
Gambar 4.4. Tabel ETL_EXTRACTION_PROFILE ........................................... 55
Gambar 4.5. Tabel ETL_EXTRACTION_PROFILE_DETAIL ........................... 55
Gambar 4.6. Tabel ETL_CLEANING_CUSTOM_PROFILE ............................. 56
Gambar 4.7. Tabel ETL_TRANSFORMATION_PROFILE ................................ 56
Gambar 4.8. Tabel ETL_VIEWING_TABLE_PROFILE .................................... 57
Gambar 4.9. Tabel ETL_VIEWING_CHART_PROFILE .................................... 57
Gambar 4.10. Tabel ETL_VIEWING_TYPE ....................................................... 58
Gambar 4.11. Tabel ETL_VIEWING_QUERY_REPOSITORY ......................... 58
Gambar 4.12. Tabel ETL_VIEWING_QUERY_JOIN ......................................... 59
Gambar 4.13. Tabel ETL_VIEWING_QUERY_ORDER .................................... 60
Gambar 4.14. Tabel ETL_VIEWING_QUERY_GROUP .................................... 60
Gambar 4.15. Tabel ETL_VIEWING_QUERY_WHERE ................................... 61
Gambar 4.16. Implementasi Form Awal Aplikasi ................................................. 61
Gambar 4.17. Implementasi Form Connection Profile ......................................... 63
Gambar 4.18. Implementasi Form Create Extraction Profile............................... 64
Gambar 4.19. Implementasi Form Database Structure ........................................ 64
Gambar 4.20. Implementasi Form Extraction Proses........................................... 65
Gambar 4.21. Implementasi Form Extraction Summary ...................................... 66
Gambar 4.22. Implementasi Form Extraction, Dimension And Fact Table.......... 66
Gambar 4.23. Implementasi Form Checking Data ............................................... 67
Gambar 4.24. Implementasi Form Create Data Warehouse Table ....................... 68
Gambar 4.25. Implementasi Form Create Dimension Table ................................ 69
Gambar 4.26. Implementasi Form Create Transformation Library ..................... 70
Gambar 4.27. Implementasi Form Execute Transformation Library ................... 70
Gambar 4.28. Implementasi Create Data Mart Tabular (View Profile) ............... 71
Gambar 4.29. Implementasi Create Data Mart Tabular (Step 1) ......................... 71
Gambar 4.30. Implementasi Create Data Mart Tabular (Step 2) ......................... 72
Gambar 4.31. Implementasi Create Data Mart Tabular (Step 3) ......................... 73
xii
Gambar 4.32. Implementasi Create Data Mart Chart (View Profile) ................... 73
Gambar 4.33. Implementasi Create Data Mart Chart (Step 1) ............................ 74
Gambar 4.34. Implementasi Create Data Mart Chart (Step 2) ............................ 75
Gambar 4.35. Implementasi Create Data Mart Chart (Step 3) ............................ 75
Gambar 4.36. Implementasi Viewing Data Mart Tabular ..................................... 76
Gambar 4.37. Implementasi Viewing Data Mart Chart ........................................ 76
Gambar 4.38. Proses Create Connection Profile .................................................. 77
Gambar 4.39. Proses Create Extraction Profile .................................................... 79
Gambar 4.40. Proses Extraction hingga Extraction Summary .............................. 82
Gambar 4.41. Proses Cleaning Extraction Data – Replace Value ........................ 85
Gambar 4.42. Proses Create Data Warehouse Table – Dimension dan Fact ........ 86
Gambar 4.43. Proses Create Dimension Table – Reslt Dimension ....................... 88
Gambar 4.44. Proses Create Transformation Library........................................... 89
Gambar 4.45. Proses Execute Transformation Library ......................................... 91
Gambar 4.46. Proses Create Data Mart Chart (langkah 1) .................................. 92
Gambar 4.47. Proses Create Data Mart Chart (langkah 2) .................................. 93
Gambar 4.48. Proses Create Data Mart Chart (langkah 3) .................................. 94
Gambar 4.49. Hasil Proses Viewing Data Mart Chart .......................................... 95
Gambar 4.50. Proses Viewing Data Mart Tabular (Step 1) .................................. 96
Gambar 4.51. Proses Viewing Data Mart Tabular (langkah 2) ............................. 97
Gambar 4.52. Proses Viewing Data Mart Tabular (langkah 3) ............................. 98
Gambar 4.53. Hasil Proses Viewing Data Mart Tabular....................................... 99
Gambar 4.54. Menu konfigurasi koneksi sistem sumber .................................... 101
Gambar 4.55. Pembuatan konfigurasi pada server MySQL ............................... 102
Gambar 4.56. Pemanggilan profil koneksi .......................................................... 103
Gambar 4. 57. Pemilihan database dan tabel pada sistem sumber ..................... 103
Gambar 4.58. Pembuatan profil ekstraksi ........................................................... 104
Gambar 4.59. Pemanggilan profil ekstraksi ........................................................ 105
Gambar 4.60. Proses ekstraksi telah selesai ........................................................ 105
Gambar 4.61. Form informasi pada proses ekstraksi .......................................... 106
Gambar 4.62. Form informasi untuk menghapus tabel lama sebelum diekstrak 107
xiii
Gambar 4.63. Hasil ringkasan ekstraksi .............................................................. 107
Gambar 4.64. Hasil dari table destination yang berbeda .................................... 108
Gambar 4.65. Kondisi awal pada tabel target ..................................................... 109
Gambar 4.66. Hasil ekstraksi akhir pada tabel target .......................................... 109
Gambar 4.67. Hasil dari tabel sumber dan target sama....................................... 109
Gambar 4.68. Pesan error saat koneksi ke sistem sumber terputus .....................110
Gambar 4.69. Menu cleaning data.......................................................................110
Gambar 4.70. Konfigurasi pada cleaning date..................................................... 111
Gambar 4.71. Hasil dari proses cleaning date ..................................................... 111
Gambar 4.72. Konfigurasi pada cleaning null value............................................112
Gambar 4.73. Hasil proses clening null value......................................................112
Gambar 4.74. Konfigurasi pada cleaning replace value ......................................113
Gambar 4.75. Hasil proses clening replace value ................................................113
Gambar 4.76. Pembuatan library PL/SQL ...........................................................115
Gambar 4.77. Contoh tabel pada data warehouse ...............................................116
Gambar 4.78. Contoh tabel hasil ekstraksi dari sistem sumber ...........................116
Gambar 4.79. Konfigurasi pembuatan tabel dimensi ...........................................117
Gambar 4.80. Isi data yang akan ditransfer ke tabel dimensi ..............................118
Gambar 4.81. Konfigurasi pada proses transforrmasi ..........................................118
Gambar 4.82. Hasil dari proses transformasi .......................................................119
Gambar 4.83. Konfigurasi viewing data dalam bentuk tabel (langkah ke-1) ..... 120
Gambar 4.84. Konfigurasi viewing data dalam bentuk tabel (langkah ke-2) ..... 120
Gambar 4.85. Konfigurasi viewing data dalam bentuk tabel (langkah ke-3) ...... 121
Gambar 4.86. Hasil dari proses konfigurasi query string ................................... 121
Gambar 4.87. Pemanggilan profil viewing data dalam bentuk grid ................... 122
Gambar 4.88. Konfigurasi awal pada viewing data dalam bentuk grafik ........... 123
Gambar 4.89. Konfigurasi menentukan order by ................................................ 123
Gambar 4.90. Konfigurasi untuk parameter grafik yang ditampilkan ................ 124
Gambar 4.91. Hasil viewing data dalam bentuk grafik batang ........................... 124
xiv
DAFTAR LAMPIRAN
LAMPIRAN I Detail Pengujian Fungsional Black Box ...................................127
xv
DAFTAR KODE
Listing Code 4.1. Kode query save data connection ............................................. 78
Listing Code 4.2. Kode query menampilkan nama column dari tabel .................. 80
Listing Code 4.3. Kode query insert into ke tabel etl_extraction_profile ............. 81
Listing Code 4.4. Kode query insert into ke tabel etl_extraction_profile_detail .. 81
Listing Code 4.5. Kode query extraction process ................................................. 83
Listing Code 4.6. Kode query Create Table In Oracle ......................................... 83
Listing Code 4.7. Kode Generate Insert Sql query string untuk insert data ........ 83
Listing Code 4.8. Kode Insert To Oracle .............................................................. 84
Listing Code 4.9. Kode Query PL/SQL ................................................................ 90
xvi