IF MATERI DATA WAREHOUSE

PANDUAN PRAKTIKUM

MATA KULIAH SISTEM DATA WEREHOUSING

Oleh :

Tim Pengajar

Jurusan Teknik Informatika

Fakultas Teknik

Universitas Negeri Gorontalo

2012

1. PENDAHULUAN

Sebuah perguruan tinggi perlu memberikan pelayanan kepada para stakeholder yang diantaranya adalah mahasiswa, dosen maupun laporan borang di butuhkan oleh dikti. Contoh data yang diperlukan oleh berbagai stakeholder adalah data penelitian. Data penelitian dari tahun ke tahun akan terus bertambah dan membuat ukuran database menjadi semakin besar. Agar tidak membebani sistem pemrosesan transaksi yang ada, pada saatnya data lama perlu dipindahkan ke sebuah data warehouse. Sebuah data warehouse akan memberikan laporan yang bersifat dinamis dan bisa dilihat dari berbagai dimensi.[1]

Laporan yang dihasilkan juga akan mempunyai kemampuan untuk diperinci lebih lanjut ataupun diringkaskan. Tanpa adanya data warehouse, laporan-laporan yang dihasilkan akan lebih bersifat statis sesuai dengan yang telah diberikan oleh aplikasi yang berada pada tingkatan sistem informasi manajemen.

Tugas ini untuk membangun sebuah data warehouse untuk data penelitian. tulisan ini meliputi kegiatan perancangan data warehouse yang termasuk di dalamnya perancangan arsitektur, dan pemodelan data. Sesudah itu akan dijelaskan hasil implementasi dari data warehouse yang telah dirancang.

2. TINJAUAN PUSTAKA

Data Warehouse

Data warehouse adalah koleksi data yang bersifat subject-oriented, terintegrasi, time-variant, dan non-volatile yang digunakan untuk mendukung proses pengambilan keputusan yang strategis untuk perusahaan (Inmon, 2002). Data warehouse merupakan salah satu konsep penyediaan solusi ke organisasi, dimana memiliki database yang distrukturkan secara khusus untuk dilakukan proses query dan analisis. Data warehouse umumnya berisi data yang mempresentasikan histori organisasi. Data warehouse memungkinkan pengguna untuk melakukan pemeriksaan terhadap data historis utuk melakukan analisis terhadap data dalam beragam cara dan membuat keputusan yang didasarkan pada hasil analisis.

Untuk pembuatan data warehouse, dilakukan dengan melakukan beberapa langkah yang ada, antara lain (Ponniah, 2001):

a. Data extraction

Fungsi ini biasanya berhadapan dengan bermacam data source, dan menggunakan teknik yang sesuai dengan setiap data source. Sumber data mungkin berasal dari source machine yang berbeda dalam format data yang berbeda pula.

b. Data transformation

Data transformation melibatkan berbagai bentuk dalam mengkombinasikan bagian dari data yang berasal dari sumber yang berbeda. Kombinasi data dilakukan dari sumber record tunggal, atau dapat juga dilakukan dari elemen data yang berelasi dengan banyak sumber record. Proses cleaning mungkin dilakukan dalam data transformation, dimana proses cleaning memiliki fungsi untuk melakukan koreksi terhadap kesalahan pengejaan, atau untuk melakukan eliminasi terhadap duplikat data.

c. Data loading

Setelah selesai melakukan desain dan konstruksi dari data warehouse dan aplikasi digunakan untuk pertama kalinya, akan dilakukan pengisian awal data ke dalam media penyimpanan data warehouse. Dalam pengisian awal, dilakukan pemindahan data dalam jumlah yang besar.

3. Perancangan Data Warehouse

Tahap perancangan adalah merupakan tahap awal yang penting untuk dilakukan dalam pembentukan data warehouse. Di dalamnya meliputi perancangan arsitektur logical maupun fisik dari data warehouse [2], pemilihan data pada sumber data yaitu data penelitian yang telah ada, dan dilanjutkan dengan pemodelan data dimensional.

A. Perancangan Arsitektur Data Warehouse

Pembersihan data

Data werehouse (MySQL)

Sumber Data Data Staging Penyimpanan Data Transformasi

Normalisasi Data Olah

Gambar memperlihatkan rancangan arsitektur logical dari data penelitian.

DB Penelitian DB Werehouse DB public access

Pengguna Pengguna

Gambar memperlihatkan rancangan arsitektur fisik dari data warehouse penelitian. Pada konfigurasi ini pengguna mengakses data warehouse melalui server aplikasi. Database Olah dan data warehouse berada pada mesin yang sama sehingga proses Ekstraksi, Transformasi dan Loading dilakukan di mesin data warehouse dan tidak mengganggu kerja mesin operasional.

B. Sumber Data

Dalam tugas ini sumber data yang digunakan dalam bentuk excel dimana beberapa record masih tidak standard dan memerlukan penyeragaman//cleaning/pembersihan data.

C. Pemodelan Data Dimensional

Skema yang digunakan adalah schema dimana terdapat satu tabel fakta dan beberapa tabel dimensi. Alasannya adalah proses query yang lebih ringan dan memudahkan penjelajahan terhadap data dimensinya, selain itu tabeldimensinya tidak memerlukan tabel sub dimensi karena tabel dimensinya tidak mengandung ringkasan atau tidak memiliki perbedaan tingkat ukuran.

Tabel fakta yang terbentuk dari perancangan data warehouse ini merupakan tabel tesis yang dapat dijelaskan sebagai berikut:

1. Tabel Data Tesis, didalam table tesis ini berbubungan degan table kelas,kota alamat, kota asal sekolah,jenis kelamin dan tempat tanggal lahir.

2. Tabel Kelas, data yang termasuk dimensi kelas adalah kd_kelas dan namakelas.

3. Tabel Kota Alamat,dimensi kota alamat adalah kd_kotaalamat dan kotaalamat

4. Tabel Kota Asal Sekolah,dimensi kota asal sekolah adalah kd_kotasalsek dan kotaasalsekolah

5. Tabel Jenis kelamin, dimensi jenis kelamin adalah kd_jk,jeniskelamin 6. Tabel Tempat Lahir, dimensi tempat lahir adalah

D. Langkah – langkah normalisasi table dan Analisa Tabel 1. Proses Pembersihan Data

Proses pembersihan data dilakukan untuk menghilangkan record yang kembar, menormalisasi kesalahan penulisan, nilai yang kosong, dan kesalahan-kesalahan lainnya. Pada kelompok kami, proses pembersihan data dilakukan secara manual. Untuk membantu mengerjakan semua operasi yang diperlukan dalam MySQL, kelompok kami menggunakan tool PHP MyAdmin.

Langkah pertama yang dilakukan adalah melakukan ekspor data dari file asli berupa Microsoft Excel menjadi database MySQL. File asli dalam bentuk Microsoft Excel terlebih dahulu dinormalkan kolom-kolomnya dari bentuk asal yang belum terformat, sehingga dihasilkan sebuah format mirip tabel dengan nama-nama kolom berikut:

No NIM Nama TempatLahir TglLahir KotaAlamat

JK (Jenis Kelamin) Kelas

AsalSekolah KotaAsalSekolah

Format tanggal juga diperiksa dan disamakan menurut format tanggal MySQL yaitu yyyy-mm-dd (tahun-bulan-tanggal). Untuk kolom Jenis Kelamin dan Kelas, dari data asli sudah tersaji dalam bentuk biner yaitu 0 dan 1. Setelah itu data disimpan dalam format file CSV untuk selanjutnya diimpor ke format database MySQL.

Langkah impor data ke MySQL terlebih dahulu diawali dengan membuat

sebuah database bernama „tesis‟, dan membuat sebuah tabel bernama „datatesis‟

dengan struktur tabel yang sama dengan kolom-kolom yang telah ditentukan sebelumnya. Data dari file CSV kemudian diimpor melalui fasilitas import dari PHPMyAdmin. Di sini kembali dilakukan cek jumlah record untuk memastikan bahwa semua record telah diimpor, yaitu sejumlah 10319 record.

Langkah berikutnya adalah menentukan field mana dari tabel „datatesis‟

yang dapat dikodekan dan dipisahkan menjadi tabel terpisah untuk digunakan menjadi dimensi. Dari proses ini didapatkan bahwa field-field berikut memiliki nilai-nilai yang sama dan dapat dikodekan:

JK Kelas

TempatLahir KotaAlamat KotaAsalSekolah

Untuk field Jenis Kelamin dan Kelas, karena sudah dalam bentuk biner

maka langsung dibuat menjadi tabel „jeniskelamin‟ dan „kelas‟ dengan struktur

sebagai berikut:

Tabel „jenis_kelamin‟

„kd_jk‟ integer 1 Primary Key

„jeniskelamin‟ varchar 10

Tabel „kelas‟

„kd_kelas‟ integer 1 Primary Key

„namakelas‟ varchar 10

Tabel „jenis_kelamin‟

0 Laki-laki

1 Perempuan

Tabel „kelas‟

0 Kelas 0

1 Kelas 1

Untuk field TempatLahir, KotaAlamat dan KotaAsalSekolah, karena memiliki kesamaan jenis data yaitu nama tempat, maka perlu dipetakan terlebih dahulu masing-masing nama tempatnya kemudian diperiksa apakah terdapat inkonsistensi penulisan atau duplikasi yang dapat mengacaukan pengkodean. Pemeriksaan dilakukan secara manual dengan bantuan fungsi distinct pada MySQL untuk menampilkan setiap nama tempat yang terdapat pada field-field tersebut.

select distinct „tempatlahir‟ from „tesis‟; select distinct „kotaalamat‟ from „tesis‟; select distinct „kotaasalsekolah‟ from „tesis‟;

Pada langkah ini ditemukan beberapa inkonsistensi penulisan nama tempat seperti

SEMARANG SEAMRANG YOGYAKARTA YAGYAKARTA

Ditemukan juga duplikasi nama tempat karena kesalahan pemberian spasi seperti PATI

_PATI

Setelah dilakukan perbaikan, data dari masing-masing field kemudian diurutkan secara ascending kemudian dipisahkan ke dalam tabel-tabel berikut untuk sekaligus dikodekan:

Tabel „tempatlahir‟

„kd_tempatlahir‟ varchar 4 Primary Key

„tempatlahir‟ varchar 20

Tabel „kotaalamat‟

„kd_kotaalamat‟ varchar 4 Primary Key

„kotaalamat‟ varchar 20

Tabel „kotaasalsekolah‟

„kd_kotaasalsek‟ varchar 4 Primary Key

„kotaasalsekolah‟ varchar 20

Pengkodean dilakukan dengan memberi nomor urut dari atas sebanyak 4 digit terdiri dari 1 digit paling kiri sebagai pengenal dan tiga digit kanan sebagai pembilang. Pengkodean yang ditentukan penulis adalah:

Tabel Pengenal Pembilang Contoh

„tempatlahir‟ 2 001-999 2001, 2019, 2100

„kotaalamat‟ 3 001-999 3001, 3045, 3099

„kotaasalsekolah‟ 1 001-999 1001, 1030, 1086

Setelah pengkodean selesai, maka dilakukan perubahan struktur pada

tabel „datatesis‟ dan update data pada field-field tersebut menjadi kode. Perubahan struktur dilakukan melalui PHPMyAdmin, sedang perubahan data dilakukan menggunakan kalimat-kalimat SQL berikut:

“update datatesis set kd_tempatlahir=(select

kd_tempatlahir from tempatlahir where tempatlahir.tempatlahir=datatesis.kd_tempatlahir );”

“update datatesis set kd_kotaalamat=(select

kd_kotaalamat from kotaalamat where kotaalamat.kotaalamat=datatesis.kd_kotaalamat);”

“update datatesis set kd_kotaasalsek=(select

kd_kotasalsek from kotaasalsekolah where kotaasalsekolah.kotaasalsekolah=datatesis.kd_kot aasalsek);”

2. Hasil Pembersihan Data

Pada akhir dari proses ini terbentuk 5 buah tabel baru di samping tabel

„datatesis‟, sehingga jumlah tabel sekarang menjadi 6 tabel. Tabel-tabel baru tersebut adalah: „jenis_kelamin‟ „kelas‟ „tempatlahir‟ „kotaalamat‟ „kotaasalsekolah‟

Dengan adanya proses kodifikasi (pengkodean) maka struktur tabel

„datatesis‟ juga mengalami perubahan, di mana field yang tadinya berisi data mentah digantikan oleh field berisi kode yang merujuk pada tabel-tabel baru.

Hasil akhir struktur tabel „datatesis‟ adalah sebagai berikut:

„no‟ integer 6

„nim‟ varchar 15 Primary Key

„nama‟ varchar 50

„kd_tempatlahir‟ varchar 4 Foreign Key tabel „tempatlahir‟

„tgllahir‟ date

„kd_kotaalamat‟ varchar 4 Foreign Key tabel „kotaalamat‟

„kd_jk‟ integer 1 Foreign Key tabel „jenis_kelamin‟

„kd_kelas‟ integer 1 Foreign Key tabel „kelas‟

„asalsekolah‟ varchar 50

„kd_kotaasalsek‟ varchar 4 Foreign Key tabel „kotaasalsekolah‟

3. Menggunakan Schema-Workbench

Untuk dapat menggunakan Schema-Workbench maka pastikan folder driver berisi dari Schema-Workbench berisi file-file : mysql-connector-java-5.1.13-bin, jtds-1.2.2.

Langkah-langkah untuk menggunakan Schema-Workbench :

a. Jalankan Schema-Workbench dengan mengklik 2X file Workbench.bat b. klik menu Tools kemudian connection, isi text box dengan :

- Driver Class Name : com.mysql.jdbc.Driver

- Connection URL : jdbc:mysql://localhost/[nama database] - User Name : root

Gambar. 1. Connection c. klik Test Connection

Gambar. 2. Connection Succesfull d. klik Ok kemudian klik Accept

Gambar 3. Schema Workbench f. klik Add Dimension pada tool bar

g. Aktifkan New Hierarchy pada dimension

h. klik kanan pada New Hierarchy kemudian Add Table i. Isi atribut name dengan nama table dimensi

j. klik pada New Hierarchy kemudian isi atribut Primary Key dengan kunci primer dari table dimensi

k. klik pada New Dimension kemudian isi attribute foregnkey dengan foregnkey table dimensi

l. buat table fact dengan cara klik kanan pada Schema kemudian pilih add cube m. klik kanan pada new cube kemudian add table

n. isikan attribute name dengan table fakta

o. klik kanan pada new cube kemudian pilih measure, isikan atribut : - Aggregator : Count

- Coulomn : kolom yang akan dihitung jumlahnya - Data type : Numerik

p. simpan mapping tersebut dengan extension XML q. Kemudian pilih Add Cube

Munculan tampilan berikut ini

Gambar 6. Tampilan cube

Klik kanan pada New Cube 0  Add Tabel, setelah dipilih akan muncul tampilan berikut (b)

Gambar 8. (b)

Pada Cube ini merupakan tampilan dari tabel fakta. Isikan data pada kolom name dengan memilih tabel. Misalkan memilih tabel database datatesis

Gambar 9. Mengisi Name Atribute

Ketika kita sudah memilih tabel dan mengisi kolom dengan benar maka tanda silang akan hilang dengan sendirinya.

1. Setelah membuat Cube (tabel fakta) kita akan membuat tabel dimensi dengan cara klik kanan pada schema  Add Dimension. Buatlah beberapa tabel dimensi yang kita sesuaikan dengan database yang sudah di cleaning dengan memisahkan menjadi beberapa tabel yang unik, misalkan kita membuat empat tabel dimension. Setelah membuat beberapa tabel dimensi kita edit satu persatu tabel tersebut. Klik pada New Dimension  klik kanan New hierarchy 0  Add tabel maka muncul

Gambar 10. Add Hierarky

Isikan pada kolom name dengan memilih tabel dimensi yang sudah kita buat di Mysql. Misalkan tabel jenis_kelamin

2. Setelah mengisi kolom name kita klik kembali New hierarchy 0

Gambar 11. Pengisian nama

Isikan kolom primarykey sesuai dengan tabel yang tadi kita pilih. Pilih kd_jk , untuk kolom name bisa diganti bisa tidak. Sekarang pilih / klik kanan pada New hierarchy  Add level

Klik pada New level 0 yang baru kita buat kemudian isikan beberapa kolom di dalamnya

Gambar. 13 Pengisian value Isikan data ke dalam kolom :

Column : kd_jk

nameColumn : jeniskelamin type : integer leveltype : Regular hideMemberlf : Never

Data yang dimasukkan berdasarkan tabel yang kita pilih tadi seperti saat langkah ke 6. Lakukan langkah 6 dan 7 ini untuk mengisikan tabel dimensi yang lain, tentunya database yang dimasukkan pun berbeda sesuaikan dengan tabel database yang kita buat di Mysql.

3. Langkah selanjutnya setelah mengisi tabel pada tiap dimension, kita kembali pada tabel cube (tabel fakta). Klik kanan pada cube 0  Add Dimension Usage

Gambar. 14. Add Dimension Usage

Kemudian pilih / klik tabel dimensi tersebut dan isikan data pada beberapa kolom yang ada di dalamnya seperti berikut:

Gambar 15. Pengisian Data Fakta

Name : jenis kelamin FoerignKey : kd_jk

Source : jenis kelamin

Disarankan dalam area ini kita cukup hanya membuat dua tabel dimensi supaya saat ditampilkan pada pentaho grafiknya yang keluar bisa terlihat. Dan terserah pada kita untuk memilih tabel mana yang akan kita munculkan pada pentahonya nanti. Disini misalkan tabel yang dipilih berdasarkan tabel database yang kita buat adalah tabel jenis kelamin dan kelas.

4. Selanjutnya klik kanan kembali pada cube0  Add Measure. Pada tabel measure ini kita akan menjumlahkan seluruh data yang sudah kita buat, agar saat pentahonya berjalan data tersebut sudah dijumlahkan seluruh.

Klik pada tabel measure yang sudah kita buat kemudian isikan datanya dalam kolom seperti berikut:

Gambar 16. Pengisian Measure

Name : kelas Aggregator : count Column : kd_kelas Datatype : integer

Tabel yang dimasukkan pun terserah pada kita yang akan dijumlahkan nantinya.

5. Setelah kita membuat schema maka langkah selanjutnya kita akan mempublish data ke pentaho. Adapun langkahnya adalah pilihlah file  publish

Gambar 17. Publish

Maka muncul tampilan Repository Login seperti berikut ini:

6. Pada area kerja Repository Login di dalam kolom publish password kita akan memasukkan passwordnya dengan terlebih dahulu mengubahnya di folder pentaho  folder biserve-ce-3.0.0 STABLES  folder biserver-ce  pentaho-solution  folder system  cari file publisher_config kemudian klik kanan edit maka akan muncul

Gambar 19. Penambahan Password Gantilah passwordnya pada sourecode program berikut:

<publisher-config>

<publisher-password>publish</publisher-password> </publisher-config>

Untuk memudahkan dalam mengingat rubahlah passwordnya menjadi

“publish”. Setelah merubah password kita kembali ke schema workbench

Gambar. 20 Pengisian Repository

Pada publish password masukkan “publish” lalu pada user “joe” dengan passwordnya “password” sebelum kita mempublish pada pentaho terlebih

dahulu aktifkan pentahonya dengan cara start-pentaho pada folder Pentahobiserver-ce-3.0.0 STABLES biserver-ce. Setelah mengaktifkan pentaho lakukan browsing dengan mozilla lalu ketikkan

“http://localhost:8080/pentaho/Login” .

Setelah mengaktifkan pentaho kembali pada schema workbench pilih file  publish  kemudian muncul Repository Login masukkan passwordnya lalu tekan tombol OK dan muncul tampilan

Gambar. 21. Publish Setting

Pada area ini kita terlebih dahulu membuat New folder, setelah membuat New Folder double klik folder yang kita buat tersebut.

Di kolom Pentaho or JNDI Data Source terlebih dahulu harus kita setting dulu agar bisa sukses untuk di publish pada pentaho. Cara mengesetnya adalah dengan cara kita klik pada folder Pentaho folder biserver-ce-3.0.0 STABLES administration-console file startup.batch akan muncul tampilan

Gambar. 22. Pengambilan IP workbrance

Copy lah pada tampilan tersebut http://127.0.0.1:8099 lalu masukkan pada mozilla. Saat di browser akan muncul tampilan

Gambar 23. Autentikasi Admin Pentaho Ketikkan dalam kolom tersebut:

Nama Pengguna : admin Kata Sandi : password

Gambar 24. Administrasion Console Home

Masuklah ke dalam Administration kemudian pilih Data Source lalu klik tombol Add yang bersimbol + lalu akan muncul tampilan

Gambar 25. Entry data Source Pada kolom isikan data

Nama : DataSource

Driver Class : pilih com.mysql.jdbc.Driver User Name : root

URL : jdbc:mysql://localhost:3306/tesis

Lalu tekan tombol Test, jika pengisiannya benar maka saat di test akan sukses kemudian tekan tombol OK

Kembali pada area kerja publish schema pada kolom Pentaho or JNDI Data Source kita masukkan nama sesuai dengan yang tadi kita buat saat dalam area Data Source. Misalkan kita masukkan namanya Datasource, setelah itu tekan tombol publish kemudian muncul tampilan

Gambar 26. Overwirite Pilih tombol yes, muncul tampilan

Gambar 27. Succesfull

4. Menggunakan Pentaho BI Server

Kami menggunakan Pentaho BI Server untuk mempublish hasil analisis berdasarkan table dimensi dan facta yang dibuat di Schema Workbench. Adapun langkah-langkah yang dilakukan adalah :

1. Menjalankan start-pentaho.bat yang ada di folder Pentaho/ biserver-ce-3.0.0-STABLE/ biserver-ce/

Gambar 28. Jendela tomcat server

2. Menjalankan web browser kemudian mengetikan :

Gambar 29. Halaman utama Pentaho BI Server

3. Mengklik tombol pentaho user console Login kemudian memilih user dari dropdown sample user, pilih joe, klik login, maka tampilan pentaho akan seperti pada gambar dibawah ini.

Gambar 30. Halaman Pentaho BI Server untuk user console

4. Menjalankan WampServer agar sumber data yang ada di Mysql dapat ditampilkan dalam view hasil analisis.

Gambar 31. Jendela Analysis View

6. Mengklik combo milik schema agar berisi New Schema2 dan cube data_tesis, diakhiri dengan mengklik Ok

Gambar 32. Tampilan data hasil analisis pada user console

7. untuk menampilkan hasil analisis dalam bentuk grafik maka harus mengklik Show Chart dan Swap axes yang ada di toolbar

Gambar 24. Administrasion Console Home

Masuklah ke dalam Administration kemudian pilih Data Source lalu klik tombol Add yang bersimbol + lalu akan muncul tampilan

Gambar 25. Entry data Source Pada kolom isikan data

Nama : DataSource

Driver Class : pilih com.mysql.jdbc.Driver User Name : root

URL : jdbc:mysql://localhost:3306/tesis

Lalu tekan tombol Test, jika pengisiannya benar maka saat di test akan sukses kemudian tekan tombol OK

Kembali pada area kerja publish schema pada kolom Pentaho or JNDI Data Source kita masukkan nama sesuai dengan yang tadi kita buat saat dalam area Data Source. Misalkan kita masukkan namanya Datasource, setelah itu tekan tombol publish kemudian muncul tampilan

Gambar 26. Overwirite Pilih tombol yes, muncul tampilan

Gambar 27. Succesfull

4. Menggunakan Pentaho BI Server

Kami menggunakan Pentaho BI Server untuk mempublish hasil analisis berdasarkan table dimensi dan facta yang dibuat di Schema Workbench. Adapun langkah-langkah yang dilakukan adalah :

1. Menjalankan start-pentaho.bat yang ada di folder Pentaho/ biserver-ce-3.0.0-STABLE/ biserver-ce/

Gambar 28. Jendela tomcat server

Gambar 29. Halaman utama Pentaho BI Server

3. Mengklik tombol pentaho user console Login kemudian memilih user dari dropdown sample user, pilih joe, klik login, maka tampilan pentaho akan seperti pada gambar dibawah ini.

Gambar 30. Halaman Pentaho BI Server untuk user console

4. Menjalankan WampServer agar sumber data yang ada di Mysql dapat ditampilkan dalam view hasil analisis.

Gambar 31. Jendela Analysis View

6. Mengklik combo milik schema agar berisi New Schema2 dan cube data_tesis, diakhiri dengan mengklik Ok

Gambar 32. Tampilan data hasil analisis pada user console

7. untuk menampilkan hasil analisis dalam bentuk grafik maka harus mengklik Show Chart dan Swap axes yang ada di toolbar