Data Warehouse : Pentaho Open Source
Data Warehouse : Pentaho Open Source
Elsen Ronando, S.Si.,M.Si.,M.Sc.
Teknik Informatika
Fakultas Teknik
Universitas 17 Agustus 1945 Surabaya
2016 Rencana Presentasi
1
2
3
4
5 Apa itu Pentaho ?
Software open source didirikan di Orlando, Amerika Serikat pada tahun 2004. Digunakan untuk keperluan data warehouse dan business intelligence, sehingga menjadi lebih efektif dan efisien.
Data warehouse → pusat penggabungan dan pengolahan data yang digunakan untuk pelaporan dan analisis data. Business Intelligence → transformasi data menjadi informasi yang mengandung arti dan berguna.
Untuk lebih lanjut, kunjungi laman ini :
Beberapa fasilitas Pentaho
Penggalian dan pelaporan data secara interaktif. Analisa OLAP (Online Analytical Processing ) berkaitan dengan ukuran dan dimensi data.
Integrasi pelaporan (Dashboard). Adanya ruang alur kerja. Manajemen metadata. Adanya dukungan ETL (Extract Transform Load) yang digunakan untuk mengambil dan memproses data dari satu atau banyak sumber menjadi sumber baru. Skema Pentaho Business Intelligence
Integrasi Data dengan Pentaho
Biasanya disebut juga dengan PDI atau kettle. Beberapa komponen kettle, antara lain : Koneksi data.
Transformation : menangani proses manipulasi aliran data. Job : menganalisa dan memelihara tugas yang sedang dilakukan. Alat Desain
Spoon : merancang, menyunting, dan menjalankan job dan transformation. Kitchen : menjalankan job melalui mekanisme penjadwalan. Pan : menjalankan transformation melalui mekanisme penjadwalan. Carte : memantau ada tidaknya permintaan menjalankan sebuah job. Skema Integrasi Data dengan Pentaho Contoh
Demo Program Program Job
Langkah-langkah sebagai berikut : 1 2 Pilih menu File > New > Job.
Arahkan ke ikon START pada sisi kiri grup General, kemudian drag 3 dan drop ke ruang kerja.
Buka grup Utility dan kemudian drag dan drop ikon Display Msgbox 4 Info ke ruang kerja.
Hubungkan job entry START dan Display Msgbox Info dengan cara sebagai berikut :
Arahkan pointer ke atas job entry START, tunggu dan kemudian klik ikon paling kanan dan gerakkan pointer mouse ke arah job entry 5 Display Msgbox Info
Arahkan ke ikon Set Variables pada grup General, kemudian drag dan drop ke ruang kerja. Demo Program Lanjutan Program Job 6 Geser ikon Set Variables pada ruang kerja ke posisi tengah diantara
garis dari START dan Display Msgbox Info (Hingga garis diantara keduanya menebal). 7 Jika muncul window Split hop?, maka tekan tombol yes.
Sunting propertis dari job entry Set Variables dengan cara arahkan pointer keatasnya dan klik ikon kedua dari kiri.
Pada grid Variables, sisipkaan beberapa parameter sebagai berikut : Variable name: NAME Value: Elsen 8 Variable scope type: Valid in the current job
Sunting propertis dari job entry Display Msgbox Info dengan cara mirip dengan step 7,dan tambahkan informasi sebagai berikut :
Message title: Info Message Body: Hello ${NAME } Klik OK Demo Program Lanjutan Program Job
Figure: Ruang Kerja dan Hasil Eksekusi Demo Program Program Transformation
Untuk membaca dan menulis Tabel Basis Data, langkah-langkahnya sebagai berikut : 1 Buat basis data dengan nama classicmodels. Berikut adalah Gambar ER diagramnya : Demo Program Lanjutan Program Transformation 2 Buat juga basis data dengan nama dblatihan, kemudian koneksikaan
dengan pentaho dan lakukan share untuk keduanya agar basis data 3 dapat diakses melalui ruang kerja transformation.
Drag dan drop input Table Input ke ruang kerja, dan sunting propertisnya sebagai berikut :
Koneksikan dengan basis data classicmodels. Inputkan SQL query sebagai berikut: SELECT O.orderNumber
,O.customerNumber ,C.customerName ,SUM(D.quantityOrdered * D.priceEach) AS total FROM orders O LEFT JOIN customers C ON C.customerNumber = O.customerNumber LEFT JOIN orderdetails D ON D.orderNumber = O.orderNumber GROUP BY O.orderNumber Demo Program Lanjutan Program Transformation 3
Untuk cek hasil query dan telah terkoneksi dengan basis data 4 classicmodels, klik preview.
Bawa step Table Output ke ruang kerja, dan buat hop terhubung antara Table Input dan Table Output. Sunting propertis Table Output sebagai berikut : Koneksikan dengan basis data dblatihan.
Isi kolom Targettable dengan ringkasan order. Kemudian centang Truncate Table. Untuk cek dblatihan telah memiliki tabel ringkasan order, klik SQL 5 sehingga muncul Simple SQL Editor dan tekan tombol Execute.
Setelah seluruhnya telah terkoneksi dengan baik, jalankan skema transformation yang telah dibuat. Demo Program Lanjutan Program Transformation
Sementara untuk melihat hasil transformation dari basis data dblatihan, dapat dilihat melalui perintah cmd prompt sebagai berikut : cd c:\xampp\mysql\bin mysql.exe -u root -p use dblatihan; show tables; show fields from ringkasan order; select * from ringkasan order; Pemodelan Multidimensional
Teknik desain untuk menyajikan data dalam kerangka kerja yang intuitif dan akses data dengan kinerja tinggi. Biasanya dimodelkan dengan konsep star schema. Terdiri dari tabel fact dan tabel dimensi.
Tabel Fact: berisi data yang dapat diukur, seperti harga jumlah barang, dan sebagainya. Tabel Dimensi: berisi detail yang menjelaskan foreign key yang terdapat pada tabel fakta.
Contoh Skema bintang : Demo Program Program Dimensi Waktu 1 Drag dan drop step Generate Rows ke ruang kerja dan sunting
propertisnya sebagai berikut : Isi Step name dengan Tanggal Awal dan Limit dengan 10000.
Pada grid Fields, isi data Name dengan tanggal awal, Type dengan Date, Format dengan yyyy-MM-dd, dan Value dengan 2000-01-01. 2 Drag dan drop step Add sequences ke ruang kerja dan buat hop dari
Tanggal Awal ke step Add Sequences, kemudian sunting propertis dari Add sequences sebagai berikut :
Isi data Step name dengan Hari Selanjutnya, Name of value dengan hari selanjutnya, cek box Use counter to calculate sequence?, Start at value dengan 0, Increment by dengan 1, dan Maximum value dengan 999999999. 3 Drag dan drop step Calculator ke ruang kerja dan buat hop dari step
Hari Selanjutnya ke step Calculator. Kemudian, sunting propertis Calculator sebagai berikut: Demo Program Lanjutan Program Dimensi Waktu 3 Isi Step name dengan Hitung Tanggal dan isi Fields sesuaikan dengan setting.
4 Drag dan drop step Data grid ke ruang kerja dan sunting
propertisnya sebagai berikut : Demo Program Lanjutan Program Dimensi Waktu 4 Isi Step name dengan Nama Bulan dan pada tab meta isi sesuaikan dengan setting.
Name Type month number Integer month name String Pada tab Data isikan month number dn month name sesuai dengan angka dan nama bulan. 5 Drag dan drop step Stream lookup ke ruang kerja dan buat hop dari
step Hitung Tanggal ke Stream lookup. Kemudian, buat hop lgi dari step Nama Bulan ke step Stream lookup. Ubah propertis dari Stream lookup sebagai berikut : Demo Program Lanjutan Program Dimensi Waktu 5 Isi Step name dengan Lookup Nama Bulan dan Lookup step dengan Nama Bulan.
Pada grid The key(s) to lookup up the value(s), sisipkan baris berikut: Field LookupField month month number
Pada grid Specify the fields to retrieve, sisipkan baris berikut: Field Type month name String Demo Program Lanjutan Program Dimensi Waktu 6 Drag dan drop step Modified Java Script Value ke ruang kerja dan
buat hop dari step Lookup Nama Bulan ke step Modified Java Script Value. Kemudian, sunting propertis dari step Modified Java Script Value sebagai berikut:
Isi step name engan SK dan isi Script 1 sebagai berikut :
var sk; sk = (year*10000) + (month*100) + day; Pada grid Fields, sisipkan baris berikut:Fieldname Type Sk Integer Demo Program Lanjutan Program Dimensi Waktu 7 Drag dan drop step Select Value ke ruang kerja dan buat hop dari
step SK ke step Select Value. Kemudian, sunting propertis dari step Select Value sebagai berikut:
Pada tab Select & Alter, masukkan sk,date,year,quarter,month,month name,day ke dalam grid Fields. 8 Drag dan drop step Table Output ke ruang kerja dan buat hop dari
Select Value ke Table output. Kemudian, setting propertisnya sebagai berikut :
Koneksikan dengan MySQL-ClassicModelsDwh. Target table: dim date. Truncate table: Dipilih. Specify database-field: Jangan dipilih. Demo Program Gambar ruang kerja dimensi waktu
Pentaho BI Server
Aplikasi web yang merupakan framework untuk melakukan beragam pekerjaan yang berhubungan dengan masalah Business Intelligence (BI). Fitur-fitur: Backend security.
User Access Control List (ACL). Pentaho component integrator. Scheduler. Audit log. dan sebagainya.
Akses pentaho BI : dengan username : admin dan password : password. Contoh Pentaho BI Server
Laporan Interaktif Contoh Pentaho BI Server
Analisa Laporan Contoh Pentaho BI Server
Dashboard Catatan
Presentasi dapat didownload pada link berikut : Link download pentaho open source :
Kemudian pilih dan
download Pentaho Business Analytics.Link download tutorial pentaho BI Server : Link download koneksi MySQL dengan Pentaho : Sumber utama literatur dan link download:
Terimakasih