3.pertemuan Ketiga - Repository UNIKOM
Real World Aplikasi Domain (logical & Physical) Modelling • Security (disaster, privacy) • Query Language • Physical Scheme (performance) • Logical scheme (User’s view, Semantic comp.) • Machine • Distributed Access & Data CASE : Komponen : tgl. pasang, tgl. Rusak, km pakai, origin, lokasi pakai Komponen : tgl. pasang, tgl. Rusak, km pakai, origin, lokasi pakai
Q : Menentukan kesesuaian antara origin komponen, dengan kondisi operasi komponen
Mhs : Prodi, IP, lama kuliah, Asal SMA, Asal SD, Suku Mhs : Prodi, IP, lama kuliah, Asal SMA, Asal SD, Suku
Q : Menentukan keterkaitan antara SUKU dengan prestasi pada
prodi tertentu.Tgl. Pasang Tgl. Pasang Tgl. Rusak Tgl. Rusak KM Pakai KM Pakai Origin Origin Lokasi Pakai Lokasi Pakai Okt.05 Okt.05 Agu.06 Agu.06 53.000 53.000 Korea Korea Jakarta Jakarta Mar.05 Mar.05 Jul.06 Jul.06 40.000 40.000 Taiwan Taiwan Bandung Bandung Jan.06 Jan.06 Sep.06 Sep.06 35.000 35.000 Jepang Jepang Jakarta Jakarta
Prodi
IP Lama Kuliah Asal SMA Asal SD Suku IF IF 3,6 3,6 11 11 Jogya Jogya Jogya Jogya Jawa Jawa
10 AR 10 Makssar Makssar Makssar Makssar Minang Minang AR 3,7 3,7 12 TL TL 3,2 3,2 12 Bandung Bandung Majalaya Majalaya Sunda Sunda 9 9 Jakarta Jakarta Jakarta Jakarta Ambon Ambon db-1 db-n CTIL dw QUERY (OLAP)
ATURAN INFORMATION Pattrern of Information KNOWLEDGE DBMS
DATA WAREHOUSE
DATA WAREHOUSE
An Overview of DW and OLAP Tech
An Overview of DW and OLAP Tech
[S.Chaudhuri and U.Dayal]
[S.Chaudhuri and U.Dayal]
DATA MINING : Concepts and
DATA MINING : Concepts and
Techniques [Jiawei Han and
Techniques [Jiawei Han and
Micheline Kamber]
Micheline Kamber]
Data Warehouse Data Warehouse
Decision Support dan OLAP
Decision Support dan OLAP
DSS: teknologi informasi untuk membantu “knowledge DSS: teknologi informasi untuk membantu “knowledge worker” (seperti eksekutif, manajer, analis) membuat worker” (seperti eksekutif, manajer, analis) membuat keputusan lebih cepat dan tepat keputusan lebih cepat dan tepat
- Bagaimana volume penjualan berdasarkan daerah dan
Bagaimana volume penjualan berdasarkan daerah dan kategori produk pada tahun sebelumnya? kategori produk pada tahun sebelumnya?
Bagaimana hubungan antara harga saham dari pembuat
Bagaimana hubungan antara harga saham dari pembuat
komputer dengan keuntungan triwulan selama 10 tahun
komputer dengan keuntungan triwulan selama 10 tahun
terakhir? terakhir?- Apakah diskon 10% akan meningkatkan volume penjualan?
Apakah diskon 10% akan meningkatkan volume penjualan?
OLAP merupakan sebuah elemen dari DSS OLAP merupakan sebuah elemen dari DSS
Data mining merupakan sebuah kakas analisis data yang Data mining merupakan sebuah kakas analisis data yang
“powerful” dengan performansi yang tinggi bagi DSS “powerful” dengan performansi yang tinggi bagi DSS
OLAP OLAP
On-Line Analytical Processing)
On-Line Analytical Processing)
( (
Multidimensional (ROLAP, MOLAP) Multidimensional (ROLAP, MOLAP)
Analysis Analysis
Information / Presentation Information / Presentation
Fast(single query) Fast(single query)
PROSES
PROSES
OLAP : On-Line Analytical Processing OLAP : On-Line Analytical Processing
Karakteristik : Karakteristik : 1.
1. Akses data [seluruhnya] dari sudut
Akses data [seluruhnya] dari sudut pandang tertentu. pandang tertentu.
akses akses
Sekuensial Sekuensial 2.
2. Sering menggunakan “rekapitulasi”
Sering menggunakan “rekapitulasi” berdasarkan kategori tertentu berdasarkan kategori tertentu (kategorisasi). (kategorisasi).
OLAP Operations OLAP Operations
Drill down(decrease level Drill down(decrease level aggregation) aggregation)
Pull up(increase level aggregation) Pull up(increase level aggregation)
Slice and Dice (selection & Slice and Dice (selection & projection) projection)
Pivoting(reorienting view) Pivoting(reorienting view)
OLAP Servers
OLAP Servers
Relational OLAP (ROLAP): extended relational
Relational OLAP (ROLAP): extended relational DBMS yang melakukan mapping operasi terhadap
DBMS yang melakukan mapping operasi terhadap data multidimensi menjadi operasi relasional data multidimensi menjadi operasi relasional standar standar
Multidimensional OLAP (MOLAP): special purpose
Multidimensional OLAP (MOLAP): special purpose server yang secara langsung server yang secara langsung mengimplementasikan data dan operasi mengimplementasikan data dan operasi multidimensi multidimensi
Hybrid OLAP (HOLAP): memberikan kepada
Hybrid OLAP (HOLAP): memberikan kepada
pemakai/administrator sistem kebebasan untuk
pemakai/administrator sistem kebebasan untuk
memilih partisi yang berbeda memilih partisi yang berbeda
Traditional OLTP
Traditional OLTP
Pada sistem konvensional, DBMS digunakan
Pada sistem konvensional, DBMS digunakan untuk untuk online transaction processing online transaction processing
(OLTP) (OLTP)
- entri pesanan: tampilkan pesanan xx-yy-zz dan update
entri pesanan: tampilkan pesanan xx-yy-zz dan update field statusnya field statusnya
- perbankan: transfer Rp.500.000,- dari rekening nomor
perbankan: transfer Rp.500.000,- dari rekening nomor
XXX ke rekening nomor YYY
XXX ke rekening nomor YYY
pemrosesan data pemrosesan data clerical
clerical data bersifat detil dan data bersifat detil dan up-to-date
up-to-date pekerjaan terstruktur dan bersifat pengulangan
pekerjaan terstruktur dan bersifat pengulangan unit kerja berupa transaksi yang singkat
unit kerja berupa transaksi yang singkat
membaca dan/atau menulis sejumlah kecil record membaca dan/atau menulis sejumlah kecil record
isolasi, pemulihan, dan integritas merupakan hal yang kritis isolasi, pemulihan, dan integritas merupakan hal yang kritis
OLTP vs OLAP
OLTP vs OLAP
OLTP OLAP pengguna
clerk, IT professional knowledge worker fungsi operasi harian pengambilan keputusan perancangan BD application-oriented subject-oriented data terkini, up-to-date, detil, relasional yang flat, terisolasi historis, summarized, multidimensi, terintegrasi, terkonsolidasi penggunaan
berulang adhoc
akses baca/tulis pembacaan yang sangat banyak unit kerja transaksi pendek dan sederhana query kompleks jml record diaksespuluhan jutaan
jml penggunaribuan ratusan
ukuran BD100MB-GB 100GB-TB metrik transaction throughput query throughput, respons
Data Warehouse
Data Warehouse
Sumber data bagi aplikasi sistem pengambilan keputusan Sumber data bagi aplikasi sistem pengambilan keputusan
(DSS) dan sistem informasi eksekutif (EIS) (DSS) dan sistem informasi eksekutif (EIS)
Dikelola secara terpisah dari basis data operasional Dikelola secara terpisah dari basis data operasional
Bukan (tidak harus) merupakan basis data Bukan (tidak harus) merupakan basis data
Prinsip data warehouse: Prinsip data warehouse:
- subject-oriented
subject-oriented
- integrated
integrated
- time-varying
time-varying
- non-volatile
non-volatile
Kumpulan data yang digunakan terutama untuk Kumpulan data yang digunakan terutama untuk pengambilan keputusan di dalam organisasi pengambilan keputusan di dalam organisasi
DATA WAREHOUSE
DATA WAREHOUSE
Gudang “DATA” Gudang “DATA”
Integrasi seluruh data dari “topik” Integrasi seluruh data dari “topik” tertentu (tingkat organisasi) dalam tertentu (tingkat organisasi) dalam satu kesatuan akses (logik), satu kesatuan akses (logik), sehingga memungkinkan adanya sehingga memungkinkan adanya proses “analisis” terhadap proses “analisis” terhadap karakteristik organisasi, dalam karakteristik organisasi, dalam rangka pengambilan keputusan. rangka pengambilan keputusan.
Karakteristik Umum
Karakteristik Umum
Subject Oriented :
Subject Oriented : orientasi pembuatan model orientasi pembuatan model lebih menekankan aspek “integrasi akses”, bukan lebih menekankan aspek “integrasi akses”, bukan model yang lebih menekankan kemudahan model yang lebih menekankan kemudahan eksekusi transaksi operational (seperti halnya eksekusi transaksi operational (seperti halnya pada database). pada database).
Data lengkap untuk subject tertentu.
Data lengkap untuk subject tertentu.
Integrated :
Integrated : menyatukan data dari berbagai menyatukan data dari berbagai sumber (heterogenous resources : database, sumber (heterogenous resources : database, spread-sheet, file, etc.). spread-sheet, file, etc.).
Dapat diakses dari
Dapat diakses dari berbagai sudut pandang. berbagai sudut pandang.
Time variant :
Time variant : data teritengrasi dengan deskripsi data teritengrasi dengan deskripsi “waktu” (historical data).
“waktu” (historical data). Data lengkap dari sisi Data lengkap dari sisi periode (historical). periode (historical).
Data Warehouse - Arsitektur Data Warehouse - Arsitektur Executive read/write database Application 2 Information System informational read/write database operations queries Application 1 operations Operational Database periodic warehouse content
stocking
Operational Database perio conte dic w nt sto areh cking ouse pe rio w oc ar di eh c ou co se nt en t ki ng Application 3 database Operational Database st operations read/write Operational Database database operations read/write Application 4Data Warehouse - Subject
Data Warehouse - Subject
oriented
oriented
Diorientasikan kepada subjek-subjek utama yang
Diorientasikan kepada subjek-subjek utama yang terkait dengan korporasi yang telah didefinisikan terkait dengan korporasi yang telah didefinisikan di dalam model data di dalam model data
Basis data operasional mengandung sejumlah
Basis data operasional mengandung sejumlah
subjek yang menjadi kandidat pengelompokan
subjek yang menjadi kandidat pengelompokan dalam data warehouse dalam data warehouse- Perusahaan asuransi: pelanggan, produk, transaksi atau
Perusahaan asuransi: pelanggan, produk, transaksi atau aktifitas, policy, claim, rekening, dll. aktifitas, policy, claim, rekening, dll.
- Toko buku: pelanggan, buku, majalah, pegawai,
Toko buku: pelanggan, buku, majalah, pegawai, supplier supplier
Pengorganisasian basis data operasional dapat
Pengorganisasian basis data operasional dapat dilakukan dengan cara beragam dilakukan dengan cara beragam
Data Warehouse - Integrated
Data Warehouse - Integrated
Tidak terdapat konsistensi dalam pengkodean,
Tidak terdapat konsistensi dalam pengkodean,
penamaan, … antara sumber data yang berbeda
penamaan, … antara sumber data yang berbeda
Saat data dipindahkan ke data warehouse, harus
Saat data dipindahkan ke data warehouse, harus dikonversi ke suatu konvensi tertentu dikonversi ke suatu konvensi tertentu Warehouse Warehouse Cassettes = 2 CDs = 1 8-tracks = 3 Prices = US$ CDs = 1 Cassettes = DB1 DB2 DB3 DB4 - Tucson DB5 - Toronto Cassettes = 1 CDs = 2 CDs = "CD" Prices = US$ Prices = Cassettes = 2 "CAS" 8-tracks = 3 8-tracks ="8T" Canadian$
Data Warehouse - Non Volatile
Data Warehouse - Non Volatile
Data operasional diakses secara
Data operasional diakses secara
reguler dan manipulasi atau update
reguler dan manipulasi atau update
juga dilakukan terhadap data dalam
juga dilakukan terhadap data dalam
lingkungan pengoperasian lingkungan pengoperasian Data pada data warehouse di
Data pada data warehouse di load load pada waktu-waktu tertentu dan pada waktu-waktu tertentu dan
diakses. Update terhadap data tidak
diakses. Update terhadap data tidak
pernah muncul di dalam lingkungan
pernah muncul di dalam lingkungan
data warehouse data warehouseData Warehouse - Time
Data Warehouse - Time
Variance
Variance
Horizon waktu bagi data warehouse jauh lebih panjang dari Horizon waktu bagi data warehouse jauh lebih panjang dari pada yang terdapat di sistem operasional
pada yang terdapat di sistem operasional Basis data operasional menyimpan nilai
Basis data operasional menyimpan nilai
current current dari data.
dari data.
Data pada data warehouse akan berbentuk sekumpulan Data pada data warehouse akan berbentuk sekumpulan
snapshots snapshots
yang diambil pada waktu-waktu tertentu yang diambil pada waktu-waktu tertentu
Struktur kunci dari data operasional Struktur kunci dari data operasional tidak selalu tidak selalu mengandung elemen waktu. Struktur kunci dari data mengandung elemen waktu. Struktur kunci dari data warehouse warehouse selalu selalu mengandung elemen waktu
mengandung elemen waktu Konsep-konsep pada basis data temporal berlaku terhadap
Konsep-konsep pada basis data temporal berlaku terhadap data warehouse data warehouse Alasan Data Warehouse yang
Alasan Data Warehouse yang
terpisah dari basis data
terpisah dari basis data
Performansi Performansi- organisasi data khusus, metode akses, dan metode implementasi
organisasi data khusus, metode akses, dan metode implementasi dibutuhkan untuk mendukung view dan operasi multidimensi dibutuhkan untuk mendukung view dan operasi multidimensi yang merupakan ciri dari OLAP yang merupakan ciri dari OLAP
- query kompleks untuk OLAP akan menurunkan performansi dari
query kompleks untuk OLAP akan menurunkan performansi dari transaksi operasional transaksi operasional
- kontrol konkurensi dan pemulihan pada OLTP tidak kompatibel
kontrol konkurensi dan pemulihan pada OLTP tidak kompatibel dengan analisis OLAP
dengan analisis OLAP Fungsi
Fungsi
- data yang hilang: data historis biasanya tidak dikelola basis data
data yang hilang: data historis biasanya tidak dikelola basis data operasional operasional
- konsolidasi data: agregasi dan sumarisasi data dari berbagai
konsolidasi data: agregasi dan sumarisasi data dari berbagai sumber sumber
- kualitas data: terdapat perbedaan representasi, kode, dan format
kualitas data: terdapat perbedaan representasi, kode, dan format
ARSITEKTUR DW
ARSITEKTUR DW
PROSES/FASILTIAS UMUM : PROSES/FASILTIAS UMUM :
- Pemasukan DATA [cleaning, integration,
Pemasukan DATA [cleaning, integration, transformation, and reduction] transformation, and reduction]
- Akses Data (READ)
Akses Data (READ)
- Analytical Tools (statistik, dll.).
Analytical Tools (statistik, dll.).
Multitiered Architecture Multitiered Architecture
OLAP Server Monitor & metadata Integrator
Analysis Extract other
Serve Query
Transform Sources
Data
ReportsLoad
Warehouse
DataRefresh mining
Operational DBs Tools
Data Marts
Data Sources
Sumber Data
Sumber Data
Sumber data sering kali sistem-sistem operasional, yang Sumber data sering kali sistem-sistem operasional, yang menyediakan data pada level terendah
menyediakan data pada level terendah Sumber data didesain untuk penggunaan operasional, dan
Sumber data didesain untuk penggunaan operasional, dan bukan untuk kebutuhan pengambilan keputusan bukan untuk kebutuhan pengambilan keputusan
fakta ini fakta ini direfleksikan oleh data
direfleksikan oleh data Sumber data yang banyak sering kali berasal dari sistem
Sumber data yang banyak sering kali berasal dari sistem yang berbeda yang berjalan di perangkat keras yang yang berbeda yang berjalan di perangkat keras yang berbeda dengan perangkat lunak yang dibangun berbeda dengan perangkat lunak yang dibangun
in-house in-house
atau sudah dikustomisasi atau sudah dikustomisasi
Sumber data yang banyak memunculkan sejumlah besar Sumber data yang banyak memunculkan sejumlah besar isu isu
konflik semantik konflik semantik
Data Preprocessing Data Preprocessing
The need of data preprocessing
The need of data preprocessing
Problems with huge real-world Problems with huge real-world database database
- Incomplete data : missing value
Incomplete data : missing value
- Noisy
Noisy
- Inconsistent
Inconsistent
Influence data mining process,
Influence data mining process, especially pattern mined especially pattern mined
Techniques
Techniques
Data cleaning Data cleaning
Data integration Data integration
Data transformation Data transformation
Data reduction Data reduction
Improve the quality of the pattern Improve the quality of the pattern mined and/or the time required for mined and/or the time required for the actual mining the actual mining
Data Cleaning Data Cleaning
Correct the : Correct the :
Anomaly in the data Anomaly in the data
Data Inconsistent Data Inconsistent
Missing entries Missing entries
Violation of integrity constraints Violation of integrity constraints
Pembersihan Data (Data Pembersihan Data (Data
Cleaning)
Cleaning)
Hal yang penting bagi data warehouse,
Hal yang penting bagi data warehouse,
karena data dari berbagai sumber sering
karena data dari berbagai sumber sering
kali ‘kotor’ kali ‘kotor’ Terdapat tiga kelas kakas:
Terdapat tiga kelas kakas:
Migrasi Data: transformasi data sederhana
Migrasi Data: transformasi data sederhana
- Scrubbing Data: menggunakan pengetahuan
Scrubbing Data: menggunakan pengetahuan yang yang domain-specific domain-specific
- Audit Data: menemukan aturan dan
Audit Data: menemukan aturan dan
keterhubungan melalui proses pembacaan
keterhubungan melalui proses pembacaan
(scan) terhadap data (menemukan keterurutan) (scan) terhadap data (menemukan keterurutan)
Data Cleaning – Missing values
Data Cleaning – Missing values
Tuples have no recorded value for Tuples have no recorded value for several attributes several attributes
Ignore the tuple Ignore the tuple
Fill in the missing value Fill in the missing value
- Using global constant
Using global constant
- Using ‘measured’ values : attribute
Using ‘measured’ values : attribute mean, most probable value mean, most probable value
Data Cleaning – Noisy
Data Cleaning – Noisy
Random error or variance in a Random error or variance in a measured variable measured variable
Binning Binning
smooth a sorted data value by smooth a sorted data value by consulting its ‘neighborhood’ consulting its ‘neighborhood’
local smoothing local smoothing
Clustering Clustering
Detect the outliers by grouping Detect the outliers by grouping similar values similar values
Regression Regression
smooth data by fitting data to a smooth data by fitting data to a function, such as regression function, such as regression
linear regression, multiple linier linear regression, multiple linier regression regression
Data Integration
Data Integration
Combine data from multiple sources into
Combine data from multiple sources into
coherent data store coherent data store
Schema integration: entity identification
Schema integration: entity identification
problem problem Redundancy: detected by correlation
Redundancy: detected by correlation analysis analysis
Detection & resolution of data value
Detection & resolution of data value conflict: semantic heterogenity & different conflict: semantic heterogenity & different representation representation
Data Transformation
Data Transformation
Data are transformed or consolidated Data are transformed or consolidated into forms appropriate for mining into forms appropriate for mining
Involve: Involve:
- Smoothing
Smoothing
- Aggregation
Aggregation
- Generalisation
Generalisation
- Normalisation
Normalisation
Data Reduction
Data Reduction
Reduce representation of data set Reduce representation of data set that is much smaller in volume, while that is much smaller in volume, while maintains the integrity of the original maintains the integrity of the original data. data.
Strategies: Strategies:
- Data cube aggregation
Data cube aggregation
- Dimension reduction
Dimension reduction
- Data compression
Data compression
Load dan Refresh
Load dan Refresh
Loading ke data warehouse mencakup sejumlah Loading ke data warehouse mencakup sejumlah pemrosesan lainnya: memeriksa batasan integritas, pemrosesan lainnya: memeriksa batasan integritas, pengurutan, sumarisasi, pembangunan indeks, dll. pengurutan, sumarisasi, pembangunan indeks, dll.
Refreshing sebuah data warehouse berarti mempropagasi Refreshing sebuah data warehouse berarti mempropagasi perubahan terhadap data sumber ke data yang tersimpan perubahan terhadap data sumber ke data yang tersimpan di dalam data warehouse di dalam data warehouse
- kapan harus melakukan refresh
kapan harus melakukan refresh
ditentukan oleh penggunaan, tipe dari sumber data, dll.
ditentukan oleh penggunaan, tipe dari sumber data, dll.
- bagaimana cara refresh
bagaimana cara refresh data shipping: menggunakan triggers untuk mengubah tabel log data shipping: menggunakan triggers untuk mengubah tabel log snapshot dan mempropagasi data yang berubah itu ke data snapshot dan mempropagasi data yang berubah itu ke data warehouse
warehouse transaction shipping: mengirimkan perubahan yang terdapat di log transaction shipping: mengirimkan perubahan yang terdapat di log transaksi transaksi
Monitor
Monitor
Mendeteksi perubahan yang terjadi
Mendeteksi perubahan yang terjadi terhadap sumber informasi yang terhadap sumber informasi yang merupakan “interest” dari data warehouse merupakan “interest” dari data warehouse
- mendefinisikan triggers
mendefinisikan triggers
- mengawasi perubahan yang terjadi pada file
mengawasi perubahan yang terjadi pada file log log
- membuat program
membuat program
Mempropagasi perubahan dalam bentuk
Mempropagasi perubahan dalam bentuk
yang umum ke integrator yang umum ke integrator
Integrator
Integrator
Menerima perubahan dari monitor
Menerima perubahan dari monitor
- mengubah data ke dalam bentuk yang
mengubah data ke dalam bentuk yang sesuai dengan skema yang terdapat pada sesuai dengan skema yang terdapat pada data warehouse data warehouse
Mengintegrasikan perubahan ke dalam
Mengintegrasikan perubahan ke dalam
data warehouse data warehouse- menggabungkan data dengan data lain yang
menggabungkan data dengan data lain yang telah ada telah ada
- menyelesaikan kemungkinan anomali yang
menyelesaikan kemungkinan anomali yang dapat muncul dapat muncul security: otorisasi pengguna, kontrol akses
Metadata Repository
Metadata Repository
Metadata administratif Metadata administratif
- basis data sumber dan isinya
- deskripsi gateway
- skema data warehouse, view, dan definisi data turunan
- dimensi dan hirarki
- query dan laporan yang pre-defined
- lokasi dan isi dari data marts
- partisi data partisi data
- ekstraksi data, pembersihan, aturan transformasi, nilai default ekstraksi data, pembersihan, aturan transformasi, nilai default
- aturan untuk refresh dan purge terhadap data
- profil pengguna dan pengelompokan pengguna
- security: otorisasi pengguna, kontrol akses
basis data sumber dan isinya
deskripsi gateway
skema data warehouse, view, dan definisi data turunan
dimensi dan hirarki
query dan laporan yang pre-defined
lokasi dan isi dari data marts
aturan untuk refresh dan purge terhadap data
profil pengguna dan pengelompokan pengguna
Struktur Data DW
Struktur Data DW
DATA CUBE (multi dimentional) DATA CUBE (multi dimentional)
PENJUALAN PENJUALAN
PRODUK CABANG
CABANG
PENJUALAN PENJUALAN
WAKTU/SAAT PRODUK Multi-dimensional view (mis.) : Multi-dimensional view (mis.) :
1. Penjualan “produk” dari waktu ke waktu
2. Penjualan “produk” pada masing-masing cabang 3. Produk yang tersedia.
4. Dll.
CABANG PRODUK WAKTU
KUSTOMER Group Propinsi
Kota Negara Nama/orang Kategori
Jalan Hari Minggu Bulan
Nama/produk Brand Kategori
1. Rekapitulasi multi-view / multi-dimensi dapat dilayani
1. Rekapitulasi multi-view / multi-dimensi dapat dilayani Oleh DB, jika : TERINTEGRASI (dpt diakses secara logik sebagai
Oleh DB, jika : TERINTEGRASI (dpt diakses secara logik sebagai
Satu kesatuan, LENGKAP (dalam arti sampai ke level primitif,
Satu kesatuan, LENGKAP (dalam arti sampai ke level primitif,
Yang biasanya dicakup oleh DB OLTP), dan ……….. Yang biasanya dicakup oleh DB OLTP), dan ………..2. DBMS pada umumnya mengembangkan fasilitas untuk dapat
2. DBMS pada umumnya mengembangkan fasilitas untuk dapat informasi monitoring: statistik penggunaan data warehouse, laporan kesalahan, audit trails warehouse, laporan kesalahan, audit trails
Metadata Repository Metadata Repository
2
2
Data bisnis Data bisnis
- peristilahan dan definisi bisnis
- kepemilikan data
- charging policies
- data lineage: sejarah migrasi data dan urutan
- kekinian data: aktif, archived, purged
- informasi monitoring: statistik penggunaan data
peristilahan dan definisi bisnis
kepemilikan data
charging policies
Metadata operasional
Metadata operasional
data lineage: sejarah migrasi data dan urutan transformasi yang dikenakan transformasi yang dikenakan
kekinian data: aktif, archived, purged
Data Marts
Data Marts
Sebuah data mart (disebut juga data warehouse Sebuah data mart (disebut juga data warehouse departemental) adalah sebuah sistem yang mengumpulkan departemental) adalah sebuah sistem yang mengumpulkan data yang dibutuhkan oleh sebuah departemen atau data yang dibutuhkan oleh sebuah departemen atau aplikasi yang terkait
aplikasi yang terkait Data marts dapat diimplementasikan di dalam data
Data marts dapat diimplementasikan di dalam data warehouse dengan cara membuat view yang khusus, warehouse dengan cara membuat view yang khusus, spesifik untuk aplikasi tertentu
spesifik untuk aplikasi tertentu Data marts dapat juga diimplementasikan sebagai
Data marts dapat juga diimplementasikan sebagai
materialized view materialized view
subjek departemental yang difokuskan subjek departemental yang difokuskan kepada subjek tertentu kepada subjek tertentu
- materialized views adalah view yang tupel hasilnya disimpan
materialized views adalah view yang tupel hasilnya disimpan
Data marts dapat memiliki representasi yang berbeda dan Data marts dapat memiliki representasi yang berbeda dan menggunakan OLAP engines tersendiri menggunakan OLAP engines tersendiri
Tools lainnya
Tools lainnya
Antar muka pemakai yang Antar muka pemakai yang memungkinkan pemakai melakukan memungkinkan pemakai melakukan interaksi dengan data warehouse interaksi dengan data warehouse
- kakas untuk query dan pelaporan
kakas untuk query dan pelaporan
- kakas untuk melakukan analisis
kakas untuk melakukan analisis
- kakas untuk data mining
kakas untuk data mining
Perancangan Sistem
Perancangan Sistem
Perencanaan kapasitas - pendefinisian arsitektur Perencanaan kapasitas - pendefinisian arsitektur
Integrasi servers, media penyimpanan, clients Integrasi servers, media penyimpanan, clients
Perancangan skema data warehouse, views Perancangan skema data warehouse, views
Perancangan organisasi fisik data warehouse: penempatan Perancangan organisasi fisik data warehouse: penempatan data, partisi, metode akses
data, partisi, metode akses Menghubungkan sumber: gateways, ODBC drivers
Menghubungkan sumber: gateways, ODBC drivers Perancangan dan implementasi scripts untuk ekstraksi
Perancangan dan implementasi scripts untuk ekstraksi data, load, dan refresh
data, load, dan refresh Pendefinisian metadata dan populasi repository
Pendefinisian metadata dan populasi repository Perancangan dan implementasi aplikasi pengguna
Perancangan dan implementasi aplikasi pengguna Roll out data warehouse dan aplikasi
Roll out data warehouse dan aplikasi
Pembangunan Data Warehouse
Pembangunan Data Warehouse
Top Down
Top Down
- Membuat rancangan data warehouse
Membuat rancangan data warehouse keseluruhan keseluruhan
- Menentukan sumber data dan mekanisme
Menentukan sumber data dan mekanisme pengintegrasian data ke data warehouse pengintegrasian data ke data warehouse
Bottom Up
Bottom Up
- Membuat data marts untuk setiap sub sistem
Membuat data marts untuk setiap sub sistem yang ada yang ada
- Menggabungkan data marts-data marts yang
Menggabungkan data marts-data marts yang
telah terbentuk untuk menghasilkan sebuah
telah terbentuk untuk menghasilkan sebuah
data warehouse yang utuh data warehouse yang utuh