DATA WAREHOUSE OLAP STRUKTUR DAN NORMALI
MUHAMMAD ZIA UL HAQ
DATA WAREHOUSE OLAP DAN NORMALISASI DATA
1. Data Warehouse atau disingkat DW dapat dipahami dalam beberapa sudut pandang:
Wujud Sistem dan sumber data:
Data Warehouse merupakan sistem database yang menampung:
Data-data terdahulu yang secara operasional tidak digunakan lagi
Data-data terkini yang sementara digunakan dalam sebuah sistem yang secara
operasional terpisah dari sistem database yang sementara aktif digunakan untuk
tujuan operasional.
Data-data eksternal yang mendukung dan melengkapi kebutuhan yang diperlukan
Tujuan:
Tujuan dari DW yang merupakan sistem database yang menampung data-data yang telah
disebutkan diatas adalah untuk keperluan analisis dan pelaporan bagi manajemen agar
dapat dijadikan bahan pengambilan keputusan yang tepat. Dengan kata lain, data yang ada
bukan digunakan untuk keperluan operasional transaksional.
Karakter
- Subject Oriented, data yang diproses adalah hanya data yang dibutuhkan secara
subyektif sesuai dengan kebutuhan organisasi tertentu.
- Integrated, data disuplai dari berbagai sumber dan diintegrasikan kedalam
proses terintegrasi yang menghasilkan laporan dan bahan analisa yang
dibutuhkan
- Non-volatile, data tidak dapat dimodifikasi meski dapat terus ditambah dan
dibaca.
- Time Variant, menghasilkan data akurat sesuai dengan periode data meski
ditampilkan pada sembarang waktu.
2. Dalam arsitektur Data Warehouse pada organisasi dapat diimplementasikan suatu sistem
secara online yang dikenal dengan Online Integrated Data Warehousing[1], yang
menggambarkan terjadinya tahapan pembaruan data setiap terdapat data dari sumber data
yang masuk kedalam Data Warehouse.
Dalam implementasinya digunakan beberapa teknologi diantaranya dengan menggunakan
OLAP dan Hadoop. Adapun OLAP (Online Analytical Processing) dalam
perkembangannya memiliki beberapa tipe diantaranya:
MUHAMMAD ZIA UL HAQ
-
Multidimensional OLAP (MOLAP) atau nama lain dari OLAP itu sendiri
Relational OLAP (ROLAP)
Hybrid OLAP (HOLAP)
Masing-masing jenis OLAP ini memiliki kelebihan dan kekurangan, diantaranya:
Tipe
MOLAP/OLAP
ROLAP
HOLAP
Kelebihan
- Berkinerja sangat baik: kubus MOLAP
optimal pada penyimpanan, pengindeksan
multidimensi dan caching.
- Ukuran pada disk relatif kecil data
dibandingkan dengan data yang tersimpan
dalam database relasional karena teknik
kompresi.
- ekstraksi data yang efektif dicapai melalui
penataan data secara dini
- Perhitungan otomatis pada agregat tingkat
yang lebih tinggi dari data.
- Set data sangat padat pada dimensi rendah
- Model Array memberikan pengindeksan
yang alami.
- Mampu menangani jumlah data dalam
volume yang sangat besar tergantung
batasan ukuran relational database yang
digunakan
- Dapat memanfaatkan fungsi yang melekat
dalam database relasional
- Menggabungkan kelebihan dari MOLAP
dan ROLAP
- Teknology kubusnya lebih cepat untuk
menampilkan ringkasan informasi
- Dapat memanfaatkan kedua kubus (precalculate dan sumber data relasional)
Kekurangan
- Membutuhkan tambahan proses (biasaya
pada data baru)
- Terbatas dalam menangani data disebabkan
perhitungan data dilakukan saat kubus
dibangun, dan kubus itu sendiri hanya
menagani pada tingkat ringkasan.
- Beberapa metode MOLAP melakukan
redundancy data
- Memerlukan investasi tambahan, termasuk
didalamnya sumber daya manusia yang
kompoten
- Kinerja berpotensi untuk lambat, karena
pada dasarnya ROLAP menggunakan
query SQL
- Dibatasi oleh fungsi SQL, walaupun
beberapa vendor telah menerapkan
penanganan untuk resiko dari keterbatasan
ini
- Belum terdapat kejelasan kesepakatan
penggunaannya dalam industri.
- Kadang-kadang digunakan tabel relasional
untuk data yang besar dan rinci. Juga
dibutuhkan penyimpanan khusus untuk
beberapa aspek agregat dan data yang
memiliki detail yang kecil
MUHAMMAD ZIA UL HAQ
3. Dalam perpektif administratif, data warehouse hanya membutuhkan hardware seperti
server layaknya mainframe secara konseptual. Namun dalam tataran implementatif,
biasanya dibutuhkan hardware khusus salahsatunya berupa platform server presentasi yang
dikenal sebagai warehouse appliances termasuk didalamnya hardware yang telah
terkonfigurasi secara khusus.
Adapun Parallel Processing Hardware Architecture adalah inovasi hardware untuk
keperluan Data Warehouse. Pada market dikenal hardware dengan 3 jenis dasar paralel
proses: Symmetric multiprocessing (SMP), massively parallel processinf (MPP) dan nonuniform memory architecture (NUMA) [3].
4. Sebagai media arsitektural yang menampung data dari berbagai sumber dan platform maka
pada implementasi Data Warehouse dibutuhkan sofware khusus selain software umum
yang digunakan pada kebanyakan server (operating system dan lainnya). Software khusus
tersebut berupa software yang dapat menjalankan proses ETL (extract, transform, load)
dan fungsi business intellegence yang menjadi tujuan dari Data Warehouse seperti
Software EIS (Exceutive Information System) dan Software DDS (Decision Support
System).
Software khusus tersebut diatas banyak digunakan dalam sistem Data Warehouse,
mengingat fungsi utama dari DW adalah memang untuk tujuan analisa dan pengambilan
keputusan, sedangkan dalam teknisnya, proses ETL merupakan proses utama yang berjalan
didalamnya. Olehnya software-software khusus diatas mutlak ada dalam
pengimplementasi Data Warehouse.
Disamping itu, beberapa software khusus dan opsional yang dapat digunakan adalah
Granularity Management Software untuk ODS (Operational Data Store) melalui
antramuka web dan CMSM (Cross-media storage Manager) software yang biasa digunakan
dalam Data Warehouse dengan kapasitas yang sangat besar. [4]
MUHAMMAD ZIA UL HAQ
5. Untuk peningkatan efesiensi proses, pada database dikembangkan beberapa model.
Diantaranya yang paling sering digunakan adalah normalisasi dan denormalisasi basis data.
Normalisasi (normalized database) merupakan model yang mengefesiensikan
pengorganisasian data melalui 3 (tiga) proses:
- Pertama, mengeliminasi data yang sama yang tidak begitu berguna (redundant data),
sebagai contoh data yang sama dalam dua atau lebih tabel yang berbeda dirangkum
dalam satu tabel
- Kedua memastikan dependensi data, maksudnya data yang dikehendaki harus
dipastikan berada dalam tabel yang tepat pada database.
- Ketiga, memastikan data yang ada, tersimpan secara logikal
Ketiga proses diatas dimaksudkan untuk mengefesiensikan sumberdaya (termasuk media
penyimpanan), sehingga proses dapat berjalan dengan lancar. Disamping itu normalisasi
dibutuhkan untuk menghindari kemungkin adanya kerusakan data yang diakibatkan oleh
beberapa anomali proses (contohnya anomali insertion, deletion dan update)
Dalam model normalized database dikenal beberapa model perangkuman, diantaranya
yang sering digunakan adalah First Normal Form (1NF) , Second Normal Form (2NF),
Third Normal Form (3NF), Boyce-Codd Normal Form, Fourth Normal Form dan Fifth
Normal Form. Tahap Normalisasi dimulai dari tahap paling ringan (1NF) hingga paling
ketat (5NF)
Denormalisasi (denormalized database) dapat dipahami sebagai kebalikan dari
normalisasi, merupakan proses optimalisasi performa pembacaan database dengan
meredundansi data kedalam tabel tertentu atau dengan melakukan pengelompokan data.
[5]
Menurut Inmon, denormalisasi dapat dilakukan dengan teknik penempatan normalized
data ke dalam lokasi fisikal untuk menambah performa sebuah sistem (Inmon, 2005:495)
dengan beberapa teknik:
-
Membuat array (susunan) data
Meredundansi (menyebarkan data yang sama ke dalam tabel berbeda) secara bijaksana
Membuat indeksasi yang kreatif (Inmon, 2005:136)
Perbedaan antara keduanya dapat diidentifikasi pada tabel berikut:
MUHAMMAD ZIA UL HAQ
Normalisasi
Efesiensi insert, update dan delete
Efesiensi sumberdaya ruang
Biasanya relasional
Harus logical
Denormalisasi
Efesiensi read dan select
Inefesiensi sumberdaya ruang
Dapat berupa multidimensional
Dapat ditempatkan secara physical
Contoh sederhana normalized dan denormalized database
pengguna
PK
NORMALIZED
idPengguna
namaPengguna
kota
alamatPengguna
idKota
PK
idProp
propinsi
idKota
idProp
PK
namaKota
Output:
1
“zia”
“Landak Baru 1”
“1”
“1”
namaProp
Output
1
“Sulsel”
Output
1
1
“Makassar”
2
“Sulbar”
2
1
“Gowa”
2
“Thariq”
“Landak Baru 4"
“1”
“1”
idProp
DENORMALIZED
pengguna
PK
idPengguna
namaPengguna
alamatPengguna
kotaPengguna
Output:
1
“zia”
“Landak Baru 1”
“Makassar”
“Sulsel”
2
“Thariq”
“Landak Baru 4"
“Makassar”
“Sulsel”
propPengguna
6. Untuk menjawab soal ini kami memilih untuk mencantumkan semua kemungkinan
interpretasi dari redaksi soal yang ada (data dan database):
MUHAMMAD ZIA UL HAQ
-
-
-
-
Structured data
Adalah data yang dapat diidentifikasi dan dituliskan dengan standar yang
berlaku dalam DBMS (Database Management System) dan divisualisasikan
dalam rupa report, field, index, database, records dan semacamnya. Contohnya
adalah data jumlah transaksi, data laporan kondisi perusahaan, data tabel
keuangan dan lainnya. Jenis data ini oleh Inmon biasa dikategorikan sebagai
data internal.
Unstructured data
Merupakan data yang tidak memiliki model tertentu dan tidak dapat
diinterpretasikan ke dalam ringkasan nilai [7].
Dalam banyak kesempatan Inmon berulang-ulang menjelaskan bahwa
unstructured data dalam data warehouse terdiri dari data dokumen dan data
komunikasi, data dokumen contohnya konten yang terdapat pada surat, buku,
artikel, narasi laporan, gambar dan lainnya baik berada dalam database maupun
terpisah dalam sebuah file tertentu yang disebut sebagai data eksternal.
Sedangkan data komunikasi contohnya, nomer telepon, alamat email, alamat
website dan seterusnya. (Inmon, 2005:325)
Structured database
Adalah sistem pengorganisasian data melalui bahasa terstruktur dalam bentuk
schema, table, query, report dan view serta object lainnya, contohnya MySQL,
MS SQL, Oracle, mariaDB dan lainnya.
Unstructured database
Adalah database yang menyimpan apa yang tidak mungkin atau sulit disimpan
dalam sistem database tradisional [6], contohnya database NoSQL, Volt DB,
10Gen dan lainnya.
7. Traditional Data Warehouse merupakan sistem distribusi database yang memproses readonly analytical queries menjadi data historikal yang bersumber dari database operasional
[8]. Menurut Kimball, traditional data warehouse dapat juga disebut sebagai static
warehouse, meskipun didalamnya terjadi proses antara data statis dan komponen real-time
(Kimball, 2013:365). Pada arsitekturnya terdiri dari 4 (empat) layer yakni: sumber data,
back-end, global data warehouse dan front end, dimana kumpulan proses yang berjalan
didalamnya dikenal dengan istilah ETL (Extraction, Transformation, Loading) [9]
8. Data Warehouse banyak ditemukan contohnya pada
- Lembaga finansial/ keuangan seperti perbankan.
MUHAMMAD ZIA UL HAQ
-
-
Beberapa lembaga/organisasi dalam pemerintahan dan swasta yang
memberikan pelayanan publik seperti sektor pendidikan, kesehatan, informasi
dan berita, keamanan, penelitian dan lainnya.
Perusahaan bisnis produk dan jasa seperti bisnis retail, jasa transportasi dan
lainnya.
Militer
9. Data Warehouse dibutuhkan ketika:
- Suatu organisasi atau perusahaan telah memiliki data operasional dan
transaksional yang sangat besar
- Pengelolaan data ingin dilakukan secara professional dengan standar enterprise
- Dibutuhkan laporan dan analisa dari sumber data operasional yang sangat sulit
dihasilkan langsung dari sumber data atau dengan cara manual lewat
(spreadsheets) contohnya.
- Kesulitan tersebut dapat diakibatkan oleh, data yang ada terlalu banyak, waktu
yang digunakan terlalu lama, data laporan yang dihasilkan dikhawatirkan
memiliki tingkat kualitas yang rendah.
10. Data Warehouse dibutuhkan karena
- Data Warehouse telah terbukti dapat meningkatkan Bisnis Intelligence yang
diperoleh melalui pelaporan dan analisa serta mendukung menajemen dalam
pengambilan keputusan yang tepat (Inmon, 2005:29).
- Data yang dihasilkan berasal dari internal yang tidak pernah dilakukan
penghapusan serta data eksternal yang mendukung, sehingga dapat dijamin
kualitas dan konsistensi historikalnya
- Berpotensi besar mendatangkan Return of Investment secara cepat.
Referensi
[1]Peter Baofu, The Future of Post-Human Migration: A Preface to a New Theory of Sameness, Otherness, and
Identity Cambridge Scholars Publishing, Jan 3, 2013, p. 319
[2]Data Warehousing > Concepts > MOLAP, ROLAP, And HOLAP,
http://www.1keydata.com/datawarehousing/molap-rolap.html
[3] Kimball, Ralph and Ross, Margy. The Data Warehouse Toolkit Third Edition (2013) Wiley,p.140
[4] W.H Inmon Building the Data Warehouse, 4th Edition, Wiley (2005)
[5]S. K. Shin and G. L. Sanders. Denormalization strategies for data retrieval from data warehouses. Decision Support
Systems, 42(1):267-282, October 2006.
[6]Baldauf Ken and Stair Ralph, Succeeding with Technology, 4th Edition, Cangage Learning, Boston 2011:421
MUHAMMAD ZIA UL HAQ
[7]Rick F. van der Lans, Data Virtualization for Business Intelligence Systems: Revolutionizing Data Integration for
Data Warehouses, Morgan Kaufmann, Waltham 2012:95
[8]Edmond Lau & Samuel Madden, Recovery and High Availability in Updatable, Distributed Data Warehouses, CSAIL
Cambridge, 2006
[9]Stanislaw Kozielski & Robert Wrembel, New Trends in Data Warehousing and Data Analysis 1st Springer, 2008:21
DATA WAREHOUSE OLAP DAN NORMALISASI DATA
1. Data Warehouse atau disingkat DW dapat dipahami dalam beberapa sudut pandang:
Wujud Sistem dan sumber data:
Data Warehouse merupakan sistem database yang menampung:
Data-data terdahulu yang secara operasional tidak digunakan lagi
Data-data terkini yang sementara digunakan dalam sebuah sistem yang secara
operasional terpisah dari sistem database yang sementara aktif digunakan untuk
tujuan operasional.
Data-data eksternal yang mendukung dan melengkapi kebutuhan yang diperlukan
Tujuan:
Tujuan dari DW yang merupakan sistem database yang menampung data-data yang telah
disebutkan diatas adalah untuk keperluan analisis dan pelaporan bagi manajemen agar
dapat dijadikan bahan pengambilan keputusan yang tepat. Dengan kata lain, data yang ada
bukan digunakan untuk keperluan operasional transaksional.
Karakter
- Subject Oriented, data yang diproses adalah hanya data yang dibutuhkan secara
subyektif sesuai dengan kebutuhan organisasi tertentu.
- Integrated, data disuplai dari berbagai sumber dan diintegrasikan kedalam
proses terintegrasi yang menghasilkan laporan dan bahan analisa yang
dibutuhkan
- Non-volatile, data tidak dapat dimodifikasi meski dapat terus ditambah dan
dibaca.
- Time Variant, menghasilkan data akurat sesuai dengan periode data meski
ditampilkan pada sembarang waktu.
2. Dalam arsitektur Data Warehouse pada organisasi dapat diimplementasikan suatu sistem
secara online yang dikenal dengan Online Integrated Data Warehousing[1], yang
menggambarkan terjadinya tahapan pembaruan data setiap terdapat data dari sumber data
yang masuk kedalam Data Warehouse.
Dalam implementasinya digunakan beberapa teknologi diantaranya dengan menggunakan
OLAP dan Hadoop. Adapun OLAP (Online Analytical Processing) dalam
perkembangannya memiliki beberapa tipe diantaranya:
MUHAMMAD ZIA UL HAQ
-
Multidimensional OLAP (MOLAP) atau nama lain dari OLAP itu sendiri
Relational OLAP (ROLAP)
Hybrid OLAP (HOLAP)
Masing-masing jenis OLAP ini memiliki kelebihan dan kekurangan, diantaranya:
Tipe
MOLAP/OLAP
ROLAP
HOLAP
Kelebihan
- Berkinerja sangat baik: kubus MOLAP
optimal pada penyimpanan, pengindeksan
multidimensi dan caching.
- Ukuran pada disk relatif kecil data
dibandingkan dengan data yang tersimpan
dalam database relasional karena teknik
kompresi.
- ekstraksi data yang efektif dicapai melalui
penataan data secara dini
- Perhitungan otomatis pada agregat tingkat
yang lebih tinggi dari data.
- Set data sangat padat pada dimensi rendah
- Model Array memberikan pengindeksan
yang alami.
- Mampu menangani jumlah data dalam
volume yang sangat besar tergantung
batasan ukuran relational database yang
digunakan
- Dapat memanfaatkan fungsi yang melekat
dalam database relasional
- Menggabungkan kelebihan dari MOLAP
dan ROLAP
- Teknology kubusnya lebih cepat untuk
menampilkan ringkasan informasi
- Dapat memanfaatkan kedua kubus (precalculate dan sumber data relasional)
Kekurangan
- Membutuhkan tambahan proses (biasaya
pada data baru)
- Terbatas dalam menangani data disebabkan
perhitungan data dilakukan saat kubus
dibangun, dan kubus itu sendiri hanya
menagani pada tingkat ringkasan.
- Beberapa metode MOLAP melakukan
redundancy data
- Memerlukan investasi tambahan, termasuk
didalamnya sumber daya manusia yang
kompoten
- Kinerja berpotensi untuk lambat, karena
pada dasarnya ROLAP menggunakan
query SQL
- Dibatasi oleh fungsi SQL, walaupun
beberapa vendor telah menerapkan
penanganan untuk resiko dari keterbatasan
ini
- Belum terdapat kejelasan kesepakatan
penggunaannya dalam industri.
- Kadang-kadang digunakan tabel relasional
untuk data yang besar dan rinci. Juga
dibutuhkan penyimpanan khusus untuk
beberapa aspek agregat dan data yang
memiliki detail yang kecil
MUHAMMAD ZIA UL HAQ
3. Dalam perpektif administratif, data warehouse hanya membutuhkan hardware seperti
server layaknya mainframe secara konseptual. Namun dalam tataran implementatif,
biasanya dibutuhkan hardware khusus salahsatunya berupa platform server presentasi yang
dikenal sebagai warehouse appliances termasuk didalamnya hardware yang telah
terkonfigurasi secara khusus.
Adapun Parallel Processing Hardware Architecture adalah inovasi hardware untuk
keperluan Data Warehouse. Pada market dikenal hardware dengan 3 jenis dasar paralel
proses: Symmetric multiprocessing (SMP), massively parallel processinf (MPP) dan nonuniform memory architecture (NUMA) [3].
4. Sebagai media arsitektural yang menampung data dari berbagai sumber dan platform maka
pada implementasi Data Warehouse dibutuhkan sofware khusus selain software umum
yang digunakan pada kebanyakan server (operating system dan lainnya). Software khusus
tersebut berupa software yang dapat menjalankan proses ETL (extract, transform, load)
dan fungsi business intellegence yang menjadi tujuan dari Data Warehouse seperti
Software EIS (Exceutive Information System) dan Software DDS (Decision Support
System).
Software khusus tersebut diatas banyak digunakan dalam sistem Data Warehouse,
mengingat fungsi utama dari DW adalah memang untuk tujuan analisa dan pengambilan
keputusan, sedangkan dalam teknisnya, proses ETL merupakan proses utama yang berjalan
didalamnya. Olehnya software-software khusus diatas mutlak ada dalam
pengimplementasi Data Warehouse.
Disamping itu, beberapa software khusus dan opsional yang dapat digunakan adalah
Granularity Management Software untuk ODS (Operational Data Store) melalui
antramuka web dan CMSM (Cross-media storage Manager) software yang biasa digunakan
dalam Data Warehouse dengan kapasitas yang sangat besar. [4]
MUHAMMAD ZIA UL HAQ
5. Untuk peningkatan efesiensi proses, pada database dikembangkan beberapa model.
Diantaranya yang paling sering digunakan adalah normalisasi dan denormalisasi basis data.
Normalisasi (normalized database) merupakan model yang mengefesiensikan
pengorganisasian data melalui 3 (tiga) proses:
- Pertama, mengeliminasi data yang sama yang tidak begitu berguna (redundant data),
sebagai contoh data yang sama dalam dua atau lebih tabel yang berbeda dirangkum
dalam satu tabel
- Kedua memastikan dependensi data, maksudnya data yang dikehendaki harus
dipastikan berada dalam tabel yang tepat pada database.
- Ketiga, memastikan data yang ada, tersimpan secara logikal
Ketiga proses diatas dimaksudkan untuk mengefesiensikan sumberdaya (termasuk media
penyimpanan), sehingga proses dapat berjalan dengan lancar. Disamping itu normalisasi
dibutuhkan untuk menghindari kemungkin adanya kerusakan data yang diakibatkan oleh
beberapa anomali proses (contohnya anomali insertion, deletion dan update)
Dalam model normalized database dikenal beberapa model perangkuman, diantaranya
yang sering digunakan adalah First Normal Form (1NF) , Second Normal Form (2NF),
Third Normal Form (3NF), Boyce-Codd Normal Form, Fourth Normal Form dan Fifth
Normal Form. Tahap Normalisasi dimulai dari tahap paling ringan (1NF) hingga paling
ketat (5NF)
Denormalisasi (denormalized database) dapat dipahami sebagai kebalikan dari
normalisasi, merupakan proses optimalisasi performa pembacaan database dengan
meredundansi data kedalam tabel tertentu atau dengan melakukan pengelompokan data.
[5]
Menurut Inmon, denormalisasi dapat dilakukan dengan teknik penempatan normalized
data ke dalam lokasi fisikal untuk menambah performa sebuah sistem (Inmon, 2005:495)
dengan beberapa teknik:
-
Membuat array (susunan) data
Meredundansi (menyebarkan data yang sama ke dalam tabel berbeda) secara bijaksana
Membuat indeksasi yang kreatif (Inmon, 2005:136)
Perbedaan antara keduanya dapat diidentifikasi pada tabel berikut:
MUHAMMAD ZIA UL HAQ
Normalisasi
Efesiensi insert, update dan delete
Efesiensi sumberdaya ruang
Biasanya relasional
Harus logical
Denormalisasi
Efesiensi read dan select
Inefesiensi sumberdaya ruang
Dapat berupa multidimensional
Dapat ditempatkan secara physical
Contoh sederhana normalized dan denormalized database
pengguna
PK
NORMALIZED
idPengguna
namaPengguna
kota
alamatPengguna
idKota
PK
idProp
propinsi
idKota
idProp
PK
namaKota
Output:
1
“zia”
“Landak Baru 1”
“1”
“1”
namaProp
Output
1
“Sulsel”
Output
1
1
“Makassar”
2
“Sulbar”
2
1
“Gowa”
2
“Thariq”
“Landak Baru 4"
“1”
“1”
idProp
DENORMALIZED
pengguna
PK
idPengguna
namaPengguna
alamatPengguna
kotaPengguna
Output:
1
“zia”
“Landak Baru 1”
“Makassar”
“Sulsel”
2
“Thariq”
“Landak Baru 4"
“Makassar”
“Sulsel”
propPengguna
6. Untuk menjawab soal ini kami memilih untuk mencantumkan semua kemungkinan
interpretasi dari redaksi soal yang ada (data dan database):
MUHAMMAD ZIA UL HAQ
-
-
-
-
Structured data
Adalah data yang dapat diidentifikasi dan dituliskan dengan standar yang
berlaku dalam DBMS (Database Management System) dan divisualisasikan
dalam rupa report, field, index, database, records dan semacamnya. Contohnya
adalah data jumlah transaksi, data laporan kondisi perusahaan, data tabel
keuangan dan lainnya. Jenis data ini oleh Inmon biasa dikategorikan sebagai
data internal.
Unstructured data
Merupakan data yang tidak memiliki model tertentu dan tidak dapat
diinterpretasikan ke dalam ringkasan nilai [7].
Dalam banyak kesempatan Inmon berulang-ulang menjelaskan bahwa
unstructured data dalam data warehouse terdiri dari data dokumen dan data
komunikasi, data dokumen contohnya konten yang terdapat pada surat, buku,
artikel, narasi laporan, gambar dan lainnya baik berada dalam database maupun
terpisah dalam sebuah file tertentu yang disebut sebagai data eksternal.
Sedangkan data komunikasi contohnya, nomer telepon, alamat email, alamat
website dan seterusnya. (Inmon, 2005:325)
Structured database
Adalah sistem pengorganisasian data melalui bahasa terstruktur dalam bentuk
schema, table, query, report dan view serta object lainnya, contohnya MySQL,
MS SQL, Oracle, mariaDB dan lainnya.
Unstructured database
Adalah database yang menyimpan apa yang tidak mungkin atau sulit disimpan
dalam sistem database tradisional [6], contohnya database NoSQL, Volt DB,
10Gen dan lainnya.
7. Traditional Data Warehouse merupakan sistem distribusi database yang memproses readonly analytical queries menjadi data historikal yang bersumber dari database operasional
[8]. Menurut Kimball, traditional data warehouse dapat juga disebut sebagai static
warehouse, meskipun didalamnya terjadi proses antara data statis dan komponen real-time
(Kimball, 2013:365). Pada arsitekturnya terdiri dari 4 (empat) layer yakni: sumber data,
back-end, global data warehouse dan front end, dimana kumpulan proses yang berjalan
didalamnya dikenal dengan istilah ETL (Extraction, Transformation, Loading) [9]
8. Data Warehouse banyak ditemukan contohnya pada
- Lembaga finansial/ keuangan seperti perbankan.
MUHAMMAD ZIA UL HAQ
-
-
Beberapa lembaga/organisasi dalam pemerintahan dan swasta yang
memberikan pelayanan publik seperti sektor pendidikan, kesehatan, informasi
dan berita, keamanan, penelitian dan lainnya.
Perusahaan bisnis produk dan jasa seperti bisnis retail, jasa transportasi dan
lainnya.
Militer
9. Data Warehouse dibutuhkan ketika:
- Suatu organisasi atau perusahaan telah memiliki data operasional dan
transaksional yang sangat besar
- Pengelolaan data ingin dilakukan secara professional dengan standar enterprise
- Dibutuhkan laporan dan analisa dari sumber data operasional yang sangat sulit
dihasilkan langsung dari sumber data atau dengan cara manual lewat
(spreadsheets) contohnya.
- Kesulitan tersebut dapat diakibatkan oleh, data yang ada terlalu banyak, waktu
yang digunakan terlalu lama, data laporan yang dihasilkan dikhawatirkan
memiliki tingkat kualitas yang rendah.
10. Data Warehouse dibutuhkan karena
- Data Warehouse telah terbukti dapat meningkatkan Bisnis Intelligence yang
diperoleh melalui pelaporan dan analisa serta mendukung menajemen dalam
pengambilan keputusan yang tepat (Inmon, 2005:29).
- Data yang dihasilkan berasal dari internal yang tidak pernah dilakukan
penghapusan serta data eksternal yang mendukung, sehingga dapat dijamin
kualitas dan konsistensi historikalnya
- Berpotensi besar mendatangkan Return of Investment secara cepat.
Referensi
[1]Peter Baofu, The Future of Post-Human Migration: A Preface to a New Theory of Sameness, Otherness, and
Identity Cambridge Scholars Publishing, Jan 3, 2013, p. 319
[2]Data Warehousing > Concepts > MOLAP, ROLAP, And HOLAP,
http://www.1keydata.com/datawarehousing/molap-rolap.html
[3] Kimball, Ralph and Ross, Margy. The Data Warehouse Toolkit Third Edition (2013) Wiley,p.140
[4] W.H Inmon Building the Data Warehouse, 4th Edition, Wiley (2005)
[5]S. K. Shin and G. L. Sanders. Denormalization strategies for data retrieval from data warehouses. Decision Support
Systems, 42(1):267-282, October 2006.
[6]Baldauf Ken and Stair Ralph, Succeeding with Technology, 4th Edition, Cangage Learning, Boston 2011:421
MUHAMMAD ZIA UL HAQ
[7]Rick F. van der Lans, Data Virtualization for Business Intelligence Systems: Revolutionizing Data Integration for
Data Warehouses, Morgan Kaufmann, Waltham 2012:95
[8]Edmond Lau & Samuel Madden, Recovery and High Availability in Updatable, Distributed Data Warehouses, CSAIL
Cambridge, 2006
[9]Stanislaw Kozielski & Robert Wrembel, New Trends in Data Warehousing and Data Analysis 1st Springer, 2008:21