3.pertemuan Ketiga - Repository UNIKOM

  Real World Aplikasi Domain (logical & Physical) Modelling Security (disaster, privacy) Query Language Physical Scheme (performance) Logical scheme (User’s view, Semantic comp.) Machine Distributed Access & Data CASE : Komponen : tgl. pasang, tgl. Rusak, km pakai, origin, lokasi pakai Komponen : tgl. pasang, tgl. Rusak, km pakai, origin, lokasi pakai

  Q : Menentukan kesesuaian antara origin komponen, dengan kondisi operasi komponen

  Mhs : Prodi, IP, lama kuliah, Asal SMA, Asal SD, Suku Mhs : Prodi, IP, lama kuliah, Asal SMA, Asal SD, Suku

Q : Menentukan keterkaitan antara SUKU dengan prestasi pada

prodi tertentu.

  Tgl. Pasang Tgl. Pasang Tgl. Rusak Tgl. Rusak KM Pakai KM Pakai Origin Origin Lokasi Pakai Lokasi Pakai Okt.05 Okt.05 Agu.06 Agu.06 53.000 53.000 Korea Korea Jakarta Jakarta Mar.05 Mar.05 Jul.06 Jul.06 40.000 40.000 Taiwan Taiwan Bandung Bandung Jan.06 Jan.06 Sep.06 Sep.06 35.000 35.000 Jepang Jepang Jakarta Jakarta

  Prodi

  IP Lama Kuliah Asal SMA Asal SD Suku IF IF 3,6 3,6 11 11 Jogya Jogya Jogya Jogya Jawa Jawa

  10 AR 10 Makssar Makssar Makssar Makssar Minang Minang AR 3,7 3,7 12 TL TL 3,2 3,2 12 Bandung Bandung Majalaya Majalaya Sunda Sunda 9 9 Jakarta Jakarta Jakarta Jakarta Ambon Ambon db-1 db-n CTIL dw QUERY (OLAP)

  ATURAN INFORMATION Pattrern of Information KNOWLEDGE DBMS

  

DATA WAREHOUSE

DATA WAREHOUSE

  An Overview of DW and OLAP Tech

  

An Overview of DW and OLAP Tech

  [S.Chaudhuri and U.Dayal]

  [S.Chaudhuri and U.Dayal] 

  DATA MINING : Concepts and

  DATA MINING : Concepts and

  Techniques [Jiawei Han and

  Techniques [Jiawei Han and

  Micheline Kamber]

  Micheline Kamber]

  Data Warehouse Data Warehouse

  

Decision Support dan OLAP

Decision Support dan OLAP

  

  DSS: teknologi informasi untuk membantu “knowledge DSS: teknologi informasi untuk membantu “knowledge worker” (seperti eksekutif, manajer, analis) membuat worker” (seperti eksekutif, manajer, analis) membuat keputusan lebih cepat dan tepat keputusan lebih cepat dan tepat

  • Bagaimana volume penjualan berdasarkan daerah dan

  Bagaimana volume penjualan berdasarkan daerah dan kategori produk pada tahun sebelumnya? kategori produk pada tahun sebelumnya?

  • Bagaimana hubungan antara harga saham dari pembuat

  

Bagaimana hubungan antara harga saham dari pembuat

komputer dengan keuntungan triwulan selama 10 tahun

komputer dengan keuntungan triwulan selama 10 tahun

terakhir? terakhir?

  • Apakah diskon 10% akan meningkatkan volume penjualan?

  Apakah diskon 10% akan meningkatkan volume penjualan?

  OLAP merupakan sebuah elemen dari DSS OLAP merupakan sebuah elemen dari DSS

  Data mining merupakan sebuah kakas analisis data yang Data mining merupakan sebuah kakas analisis data yang

  “powerful” dengan performansi yang tinggi bagi DSS “powerful” dengan performansi yang tinggi bagi DSS

OLAP OLAP

  

On-Line Analytical Processing)

On-Line Analytical Processing)

  ( (

  Multidimensional (ROLAP, MOLAP) Multidimensional (ROLAP, MOLAP)

  

  Analysis Analysis

  

  Information / Presentation Information / Presentation

  

  Fast(single query) Fast(single query)

  

PROSES

PROSES

  OLAP : On-Line Analytical Processing OLAP : On-Line Analytical Processing

  Karakteristik : Karakteristik : 1.

  1. Akses data [seluruhnya] dari sudut

  Akses data [seluruhnya] dari sudut pandang tertentu. pandang tertentu.

    akses akses

  Sekuensial Sekuensial 2.

  2. Sering menggunakan “rekapitulasi”

  Sering menggunakan “rekapitulasi” berdasarkan kategori tertentu berdasarkan kategori tertentu (kategorisasi). (kategorisasi).

OLAP Operations OLAP Operations

  

  Drill down(decrease level Drill down(decrease level aggregation) aggregation)

  

  Pull up(increase level aggregation) Pull up(increase level aggregation)

  

  Slice and Dice (selection & Slice and Dice (selection & projection) projection)

  

  Pivoting(reorienting view) Pivoting(reorienting view)

  

OLAP Servers

OLAP Servers

   Relational OLAP (ROLAP): extended relational

  Relational OLAP (ROLAP): extended relational DBMS yang melakukan mapping operasi terhadap

  DBMS yang melakukan mapping operasi terhadap data multidimensi menjadi operasi relasional data multidimensi menjadi operasi relasional standar standar

   Multidimensional OLAP (MOLAP): special purpose

  Multidimensional OLAP (MOLAP): special purpose server yang secara langsung server yang secara langsung mengimplementasikan data dan operasi mengimplementasikan data dan operasi multidimensi multidimensi

   Hybrid OLAP (HOLAP): memberikan kepada

  Hybrid OLAP (HOLAP): memberikan kepada

pemakai/administrator sistem kebebasan untuk

pemakai/administrator sistem kebebasan untuk

memilih partisi yang berbeda memilih partisi yang berbeda

  

Traditional OLTP

Traditional OLTP

   Pada sistem konvensional, DBMS digunakan

  Pada sistem konvensional, DBMS digunakan untuk untuk online transaction processing online transaction processing

  (OLTP) (OLTP)

  • entri pesanan: tampilkan pesanan xx-yy-zz dan update

  entri pesanan: tampilkan pesanan xx-yy-zz dan update field statusnya field statusnya

  • perbankan: transfer Rp.500.000,- dari rekening nomor

  perbankan: transfer Rp.500.000,- dari rekening nomor

  XXX ke rekening nomor YYY

  XXX ke rekening nomor YYY

  pemrosesan data pemrosesan data clerical

   clerical data bersifat detil dan data bersifat detil dan up-to-date

   up-to-date pekerjaan terstruktur dan bersifat pengulangan

   pekerjaan terstruktur dan bersifat pengulangan unit kerja berupa transaksi yang singkat

   unit kerja berupa transaksi yang singkat

membaca dan/atau menulis sejumlah kecil record membaca dan/atau menulis sejumlah kecil record

isolasi, pemulihan, dan integritas merupakan hal yang kritis isolasi, pemulihan, dan integritas merupakan hal yang kritis

  

OLTP vs OLAP

OLTP vs OLAP

OLTP OLAP pengguna

  clerk, IT professional knowledge worker fungsi operasi harian pengambilan keputusan perancangan BD application-oriented subject-oriented data terkini, up-to-date, detil, relasional yang flat, terisolasi historis, summarized, multidimensi, terintegrasi, terkonsolidasi penggunaan

berulang adhoc

akses baca/tulis pembacaan yang sangat banyak unit kerja transaksi pendek dan sederhana query kompleks jml record diakses

puluhan jutaan

jml pengguna

ribuan ratusan

ukuran BD

  100MB-GB 100GB-TB metrik transaction throughput query throughput, respons

  

Data Warehouse

Data Warehouse

  

  Sumber data bagi aplikasi sistem pengambilan keputusan Sumber data bagi aplikasi sistem pengambilan keputusan

  (DSS) dan sistem informasi eksekutif (EIS) (DSS) dan sistem informasi eksekutif (EIS)

  Dikelola secara terpisah dari basis data operasional Dikelola secara terpisah dari basis data operasional

  Bukan (tidak harus) merupakan basis data Bukan (tidak harus) merupakan basis data

  Prinsip data warehouse: Prinsip data warehouse:

  • subject-oriented

  subject-oriented

  • integrated

  integrated

  • time-varying

  time-varying

  • non-volatile

   non-volatile

  Kumpulan data yang digunakan terutama untuk Kumpulan data yang digunakan terutama untuk pengambilan keputusan di dalam organisasi pengambilan keputusan di dalam organisasi

  

DATA WAREHOUSE

DATA WAREHOUSE

  Gudang “DATA” Gudang “DATA”

  

  Integrasi seluruh data dari “topik” Integrasi seluruh data dari “topik” tertentu (tingkat organisasi) dalam tertentu (tingkat organisasi) dalam satu kesatuan akses (logik), satu kesatuan akses (logik), sehingga memungkinkan adanya sehingga memungkinkan adanya proses “analisis” terhadap proses “analisis” terhadap karakteristik organisasi, dalam karakteristik organisasi, dalam rangka pengambilan keputusan. rangka pengambilan keputusan.

  

Karakteristik Umum

Karakteristik Umum

   Subject Oriented :

  Subject Oriented : orientasi pembuatan model orientasi pembuatan model lebih menekankan aspek “integrasi akses”, bukan lebih menekankan aspek “integrasi akses”, bukan model yang lebih menekankan kemudahan model yang lebih menekankan kemudahan eksekusi transaksi operational (seperti halnya eksekusi transaksi operational (seperti halnya pada database). pada database). 

   Data lengkap untuk subject tertentu.

   Data lengkap untuk subject tertentu.

   Integrated :

  Integrated : menyatukan data dari berbagai menyatukan data dari berbagai sumber (heterogenous resources : database, sumber (heterogenous resources : database, spread-sheet, file, etc.). spread-sheet, file, etc.). 

   Dapat diakses dari

   Dapat diakses dari berbagai sudut pandang. berbagai sudut pandang.

   Time variant :

  Time variant : data teritengrasi dengan deskripsi data teritengrasi dengan deskripsi “waktu” (historical data).

  “waktu” (historical data).   Data lengkap dari sisi Data lengkap dari sisi periode (historical). periode (historical).

  Data Warehouse - Arsitektur Data Warehouse - Arsitektur Executive read/write database Application 2 Information System informational read/write database operations queries Application 1 operations Operational Database periodic warehouse content

stocking

Operational Database perio conte dic w nt sto areh cking ouse pe rio w oc ar di eh c ou co se nt en t ki ng Application 3 database Operational Database st operations read/write Operational Database database operations read/write Application 4

  Data Warehouse - Subject

Data Warehouse - Subject

oriented

oriented

   Diorientasikan kepada subjek-subjek utama yang

  Diorientasikan kepada subjek-subjek utama yang terkait dengan korporasi yang telah didefinisikan terkait dengan korporasi yang telah didefinisikan di dalam model data di dalam model data

   Basis data operasional mengandung sejumlah

  Basis data operasional mengandung sejumlah

subjek yang menjadi kandidat pengelompokan

subjek yang menjadi kandidat pengelompokan dalam data warehouse dalam data warehouse

  • Perusahaan asuransi: pelanggan, produk, transaksi atau

  Perusahaan asuransi: pelanggan, produk, transaksi atau aktifitas, policy, claim, rekening, dll. aktifitas, policy, claim, rekening, dll.

  • Toko buku: pelanggan, buku, majalah, pegawai,

  Toko buku: pelanggan, buku, majalah, pegawai, supplier supplier

  

Pengorganisasian basis data operasional dapat

  Pengorganisasian basis data operasional dapat dilakukan dengan cara beragam dilakukan dengan cara beragam

  

Data Warehouse - Integrated

Data Warehouse - Integrated

  

Tidak terdapat konsistensi dalam pengkodean,

  

Tidak terdapat konsistensi dalam pengkodean,

penamaan, … antara sumber data yang berbeda

penamaan, … antara sumber data yang berbeda

   Saat data dipindahkan ke data warehouse, harus

  Saat data dipindahkan ke data warehouse, harus dikonversi ke suatu konvensi tertentu dikonversi ke suatu konvensi tertentu Warehouse Warehouse Cassettes = 2 CDs = 1 8-tracks = 3 Prices = US$ CDs = 1 Cassettes = DB1 DB2 DB3 DB4 - Tucson DB5 - Toronto Cassettes = 1 CDs = 2 CDs = "CD" Prices = US$ Prices = Cassettes = 2 "CAS" 8-tracks = 3 8-tracks ="8T" Canadian$

  

Data Warehouse - Non Volatile

Data Warehouse - Non Volatile

   Data operasional diakses secara

  Data operasional diakses secara

reguler dan manipulasi atau update

reguler dan manipulasi atau update

juga dilakukan terhadap data dalam

juga dilakukan terhadap data dalam

lingkungan pengoperasian lingkungan pengoperasian

   Data pada data warehouse di

  Data pada data warehouse di load load pada waktu-waktu tertentu dan pada waktu-waktu tertentu dan

diakses. Update terhadap data tidak

diakses. Update terhadap data tidak

pernah muncul di dalam lingkungan

pernah muncul di dalam lingkungan

data warehouse data warehouse

  Data Warehouse - Time

Data Warehouse - Time

  

Variance

Variance

  Horizon waktu bagi data warehouse jauh lebih panjang dari Horizon waktu bagi data warehouse jauh lebih panjang dari pada yang terdapat di sistem operasional

   pada yang terdapat di sistem operasional Basis data operasional menyimpan nilai

  Basis data operasional menyimpan nilai

  current current dari data.

  dari data.

  Data pada data warehouse akan berbentuk sekumpulan Data pada data warehouse akan berbentuk sekumpulan

  snapshots snapshots

  yang diambil pada waktu-waktu tertentu yang diambil pada waktu-waktu tertentu

  Struktur kunci dari data operasional Struktur kunci dari data operasional tidak selalu tidak selalu mengandung elemen waktu. Struktur kunci dari data mengandung elemen waktu. Struktur kunci dari data warehouse warehouse selalu selalu mengandung elemen waktu

   mengandung elemen waktu Konsep-konsep pada basis data temporal berlaku terhadap

  Konsep-konsep pada basis data temporal berlaku terhadap data warehouse data warehouse Alasan Data Warehouse yang

Alasan Data Warehouse yang

terpisah dari basis data

  

terpisah dari basis data

Performansi Performansi

  • organisasi data khusus, metode akses, dan metode implementasi

  organisasi data khusus, metode akses, dan metode implementasi dibutuhkan untuk mendukung view dan operasi multidimensi dibutuhkan untuk mendukung view dan operasi multidimensi yang merupakan ciri dari OLAP yang merupakan ciri dari OLAP

  • query kompleks untuk OLAP akan menurunkan performansi dari

  query kompleks untuk OLAP akan menurunkan performansi dari transaksi operasional transaksi operasional

  • kontrol konkurensi dan pemulihan pada OLTP tidak kompatibel

  kontrol konkurensi dan pemulihan pada OLTP tidak kompatibel dengan analisis OLAP

   dengan analisis OLAP Fungsi

  Fungsi

  • data yang hilang: data historis biasanya tidak dikelola basis data

  data yang hilang: data historis biasanya tidak dikelola basis data operasional operasional

  • konsolidasi data: agregasi dan sumarisasi data dari berbagai

  konsolidasi data: agregasi dan sumarisasi data dari berbagai sumber sumber

  • kualitas data: terdapat perbedaan representasi, kode, dan format

  kualitas data: terdapat perbedaan representasi, kode, dan format

  

ARSITEKTUR DW

ARSITEKTUR DW

PROSES/FASILTIAS UMUM : PROSES/FASILTIAS UMUM :

  • Pemasukan DATA [cleaning, integration,

  Pemasukan DATA [cleaning, integration, transformation, and reduction] transformation, and reduction]

  • Akses Data (READ)

  Akses Data (READ)

  • Analytical Tools (statistik, dll.).

  Analytical Tools (statistik, dll.).

  Multitiered Architecture Multitiered Architecture

  OLAP Server Monitor & metadata Integrator

  Analysis Extract other

  Serve Query

  Transform Sources

  

Data

Reports

  Load

Warehouse

Data

  Refresh mining

  Operational DBs Tools

  

Data Marts

Data Sources

  

Sumber Data

Sumber Data

  

  Sumber data sering kali sistem-sistem operasional, yang Sumber data sering kali sistem-sistem operasional, yang menyediakan data pada level terendah

   menyediakan data pada level terendah Sumber data didesain untuk penggunaan operasional, dan

  Sumber data didesain untuk penggunaan operasional, dan bukan untuk kebutuhan pengambilan keputusan bukan untuk kebutuhan pengambilan keputusan

    fakta ini fakta ini direfleksikan oleh data

   direfleksikan oleh data Sumber data yang banyak sering kali berasal dari sistem

  Sumber data yang banyak sering kali berasal dari sistem yang berbeda yang berjalan di perangkat keras yang yang berbeda yang berjalan di perangkat keras yang berbeda dengan perangkat lunak yang dibangun berbeda dengan perangkat lunak yang dibangun

  in-house in-house

  atau sudah dikustomisasi atau sudah dikustomisasi

  Sumber data yang banyak memunculkan sejumlah besar Sumber data yang banyak memunculkan sejumlah besar isu isu

    konflik semantik konflik semantik

  Data Preprocessing Data Preprocessing

  

The need of data preprocessing

The need of data preprocessing

  

  Problems with huge real-world Problems with huge real-world database database

  • Incomplete data : missing value

  Incomplete data : missing value

  • Noisy

  Noisy

  • Inconsistent

  Inconsistent 

   Influence data mining process,

  Influence data mining process, especially pattern mined especially pattern mined

  

Techniques

Techniques

  

  Data cleaning Data cleaning

  

  Data integration Data integration

  

  Data transformation Data transformation

  

  Data reduction Data reduction

   

  Improve the quality of the pattern Improve the quality of the pattern mined and/or the time required for mined and/or the time required for the actual mining the actual mining

  Data Cleaning Data Cleaning

  Correct the : Correct the :

  

  Anomaly in the data Anomaly in the data

  

  Data Inconsistent Data Inconsistent

  

  Missing entries Missing entries

  

  Violation of integrity constraints Violation of integrity constraints

  Pembersihan Data (Data Pembersihan Data (Data

  

Cleaning)

Cleaning)

   Hal yang penting bagi data warehouse,

  Hal yang penting bagi data warehouse,

karena data dari berbagai sumber sering

karena data dari berbagai sumber sering

kali ‘kotor’ kali ‘kotor’

   Terdapat tiga kelas kakas:

  Terdapat tiga kelas kakas:

  • Migrasi Data: transformasi data sederhana

  Migrasi Data: transformasi data sederhana

  • Scrubbing Data: menggunakan pengetahuan

  Scrubbing Data: menggunakan pengetahuan yang yang domain-specific domain-specific

  • Audit Data: menemukan aturan dan

  Audit Data: menemukan aturan dan

keterhubungan melalui proses pembacaan

keterhubungan melalui proses pembacaan

  (scan) terhadap data (menemukan keterurutan) (scan) terhadap data (menemukan keterurutan)

  

Data Cleaning – Missing values

Data Cleaning – Missing values

   

  Tuples have no recorded value for Tuples have no recorded value for several attributes several attributes

  

  Ignore the tuple Ignore the tuple

  

  Fill in the missing value Fill in the missing value

  • Using global constant

  Using global constant

  • Using ‘measured’ values : attribute

  Using ‘measured’ values : attribute mean, most probable value mean, most probable value

  

Data Cleaning – Noisy

Data Cleaning – Noisy

   

  Random error or variance in a Random error or variance in a measured variable measured variable

  

  Binning Binning

    smooth a sorted data value by smooth a sorted data value by consulting its ‘neighborhood’ consulting its ‘neighborhood’

    local smoothing local smoothing

  

  Clustering Clustering

   

  Detect the outliers by grouping Detect the outliers by grouping similar values similar values

  Regression Regression

    smooth data by fitting data to a smooth data by fitting data to a function, such as regression function, such as regression

    linear regression, multiple linier linear regression, multiple linier regression regression

  

Data Integration

Data Integration

  

Combine data from multiple sources into

  

Combine data from multiple sources into

coherent data store coherent data store

  

Schema integration: entity identification

  

Schema integration: entity identification

problem problem

   Redundancy: detected by correlation

  Redundancy: detected by correlation analysis analysis

   Detection & resolution of data value

  Detection & resolution of data value conflict: semantic heterogenity & different conflict: semantic heterogenity & different representation representation

  

Data Transformation

Data Transformation

  

  Data are transformed or consolidated Data are transformed or consolidated into forms appropriate for mining into forms appropriate for mining

  

  Involve: Involve:

  • Smoothing

  Smoothing

  • Aggregation

  Aggregation

  • Generalisation

  Generalisation

  • Normalisation

  Normalisation

  

Data Reduction

Data Reduction

  

  Reduce representation of data set Reduce representation of data set that is much smaller in volume, while that is much smaller in volume, while maintains the integrity of the original maintains the integrity of the original data. data.

  

  Strategies: Strategies:

  • Data cube aggregation

  Data cube aggregation

  • Dimension reduction

  Dimension reduction

  • Data compression

  Data compression

  

Load dan Refresh

Load dan Refresh

  

  Loading ke data warehouse mencakup sejumlah Loading ke data warehouse mencakup sejumlah pemrosesan lainnya: memeriksa batasan integritas, pemrosesan lainnya: memeriksa batasan integritas, pengurutan, sumarisasi, pembangunan indeks, dll. pengurutan, sumarisasi, pembangunan indeks, dll.

  Refreshing sebuah data warehouse berarti mempropagasi Refreshing sebuah data warehouse berarti mempropagasi perubahan terhadap data sumber ke data yang tersimpan perubahan terhadap data sumber ke data yang tersimpan di dalam data warehouse di dalam data warehouse

  • kapan harus melakukan refresh

  kapan harus melakukan refresh

ditentukan oleh penggunaan, tipe dari sumber data, dll.

ditentukan oleh penggunaan, tipe dari sumber data, dll.

  • bagaimana cara refresh

  bagaimana cara refresh data shipping: menggunakan triggers untuk mengubah tabel log data shipping: menggunakan triggers untuk mengubah tabel log snapshot dan mempropagasi data yang berubah itu ke data snapshot dan mempropagasi data yang berubah itu ke data warehouse

   warehouse transaction shipping: mengirimkan perubahan yang terdapat di log transaction shipping: mengirimkan perubahan yang terdapat di log transaksi transaksi

  

Monitor

Monitor

   Mendeteksi perubahan yang terjadi

  Mendeteksi perubahan yang terjadi terhadap sumber informasi yang terhadap sumber informasi yang merupakan “interest” dari data warehouse merupakan “interest” dari data warehouse

  • mendefinisikan triggers

  mendefinisikan triggers

  • mengawasi perubahan yang terjadi pada file

  mengawasi perubahan yang terjadi pada file log log

  • membuat program

  membuat program 

  

Mempropagasi perubahan dalam bentuk

Mempropagasi perubahan dalam bentuk

yang umum ke integrator yang umum ke integrator

  

Integrator

Integrator

   Menerima perubahan dari monitor

  Menerima perubahan dari monitor

  • mengubah data ke dalam bentuk yang

  mengubah data ke dalam bentuk yang sesuai dengan skema yang terdapat pada sesuai dengan skema yang terdapat pada data warehouse data warehouse

  

Mengintegrasikan perubahan ke dalam

  

Mengintegrasikan perubahan ke dalam

data warehouse data warehouse

  • menggabungkan data dengan data lain yang

  menggabungkan data dengan data lain yang telah ada telah ada

  • menyelesaikan kemungkinan anomali yang

  menyelesaikan kemungkinan anomali yang dapat muncul dapat muncul security: otorisasi pengguna, kontrol akses

  

Metadata Repository

Metadata Repository

  

  Metadata administratif Metadata administratif

  • basis data sumber dan isinya
  • deskripsi gateway
  • skema data warehouse, view, dan definisi data turunan
  • dimensi dan hirarki
  • query dan laporan yang pre-defined
  • lokasi dan isi dari data marts
  • partisi data partisi data
  • ekstraksi data, pembersihan, aturan transformasi, nilai default ekstraksi data, pembersihan, aturan transformasi, nilai default
  • aturan untuk refresh dan purge terhadap data
  • profil pengguna dan pengelompokan pengguna
  • security: otorisasi pengguna, kontrol akses

  basis data sumber dan isinya

  deskripsi gateway

  skema data warehouse, view, dan definisi data turunan

  dimensi dan hirarki

  query dan laporan yang pre-defined

  lokasi dan isi dari data marts

  aturan untuk refresh dan purge terhadap data

  profil pengguna dan pengelompokan pengguna

  

Struktur Data DW

Struktur Data DW

  

  DATA CUBE (multi dimentional) DATA CUBE (multi dimentional)

PENJUALAN PENJUALAN

  PRODUK CABANG

  CABANG

PENJUALAN PENJUALAN

  WAKTU/SAAT PRODUK Multi-dimensional view (mis.) : Multi-dimensional view (mis.) :

  1. Penjualan “produk” dari waktu ke waktu

  2. Penjualan “produk” pada masing-masing cabang 3. Produk yang tersedia.

  4. Dll.

  CABANG PRODUK WAKTU

  KUSTOMER Group Propinsi

  Kota Negara Nama/orang Kategori

  Jalan Hari Minggu Bulan

  Nama/produk Brand Kategori

  1. Rekapitulasi multi-view / multi-dimensi dapat dilayani

  1. Rekapitulasi multi-view / multi-dimensi dapat dilayani Oleh DB, jika : TERINTEGRASI (dpt diakses secara logik sebagai

  Oleh DB, jika : TERINTEGRASI (dpt diakses secara logik sebagai

Satu kesatuan, LENGKAP (dalam arti sampai ke level primitif,

  

Satu kesatuan, LENGKAP (dalam arti sampai ke level primitif,

Yang biasanya dicakup oleh DB OLTP), dan ……….. Yang biasanya dicakup oleh DB OLTP), dan ………..

  2. DBMS pada umumnya mengembangkan fasilitas untuk dapat

  2. DBMS pada umumnya mengembangkan fasilitas untuk dapat informasi monitoring: statistik penggunaan data warehouse, laporan kesalahan, audit trails warehouse, laporan kesalahan, audit trails

  Metadata Repository Metadata Repository

  2

  2 

  Data bisnis Data bisnis

  • peristilahan dan definisi bisnis
  • kepemilikan data
  • charging policies
  • data lineage: sejarah migrasi data dan urutan
  • kekinian data: aktif, archived, purged
  • informasi monitoring: statistik penggunaan data

  peristilahan dan definisi bisnis

  kepemilikan data

  charging policies

   Metadata operasional

  Metadata operasional

  data lineage: sejarah migrasi data dan urutan transformasi yang dikenakan transformasi yang dikenakan

  kekinian data: aktif, archived, purged

  

Data Marts

Data Marts

  

  Sebuah data mart (disebut juga data warehouse Sebuah data mart (disebut juga data warehouse departemental) adalah sebuah sistem yang mengumpulkan departemental) adalah sebuah sistem yang mengumpulkan data yang dibutuhkan oleh sebuah departemen atau data yang dibutuhkan oleh sebuah departemen atau aplikasi yang terkait

   aplikasi yang terkait Data marts dapat diimplementasikan di dalam data

  Data marts dapat diimplementasikan di dalam data warehouse dengan cara membuat view yang khusus, warehouse dengan cara membuat view yang khusus, spesifik untuk aplikasi tertentu

   spesifik untuk aplikasi tertentu Data marts dapat juga diimplementasikan sebagai

  Data marts dapat juga diimplementasikan sebagai

  materialized view materialized view

  subjek departemental yang difokuskan subjek departemental yang difokuskan kepada subjek tertentu kepada subjek tertentu

  • materialized views adalah view yang tupel hasilnya disimpan

   materialized views adalah view yang tupel hasilnya disimpan

  Data marts dapat memiliki representasi yang berbeda dan Data marts dapat memiliki representasi yang berbeda dan menggunakan OLAP engines tersendiri menggunakan OLAP engines tersendiri

  

Tools lainnya

Tools lainnya

  

  Antar muka pemakai yang Antar muka pemakai yang memungkinkan pemakai melakukan memungkinkan pemakai melakukan interaksi dengan data warehouse interaksi dengan data warehouse

  • kakas untuk query dan pelaporan

  kakas untuk query dan pelaporan

  • kakas untuk melakukan analisis

  kakas untuk melakukan analisis

  • kakas untuk data mining

  kakas untuk data mining

  

Perancangan Sistem

Perancangan Sistem

  

  Perencanaan kapasitas - pendefinisian arsitektur Perencanaan kapasitas - pendefinisian arsitektur

  Integrasi servers, media penyimpanan, clients Integrasi servers, media penyimpanan, clients

  Perancangan skema data warehouse, views Perancangan skema data warehouse, views

  Perancangan organisasi fisik data warehouse: penempatan Perancangan organisasi fisik data warehouse: penempatan data, partisi, metode akses

   data, partisi, metode akses Menghubungkan sumber: gateways, ODBC drivers

  Menghubungkan sumber: gateways, ODBC drivers Perancangan dan implementasi scripts untuk ekstraksi

  Perancangan dan implementasi scripts untuk ekstraksi data, load, dan refresh

   data, load, dan refresh Pendefinisian metadata dan populasi repository

  Pendefinisian metadata dan populasi repository Perancangan dan implementasi aplikasi pengguna

  Perancangan dan implementasi aplikasi pengguna Roll out data warehouse dan aplikasi

  Roll out data warehouse dan aplikasi

  

Pembangunan Data Warehouse

Pembangunan Data Warehouse

   Top Down

  Top Down

  • Membuat rancangan data warehouse

  Membuat rancangan data warehouse keseluruhan keseluruhan

  • Menentukan sumber data dan mekanisme

  Menentukan sumber data dan mekanisme pengintegrasian data ke data warehouse pengintegrasian data ke data warehouse

   Bottom Up

  Bottom Up

  • Membuat data marts untuk setiap sub sistem

  Membuat data marts untuk setiap sub sistem yang ada yang ada

  • Menggabungkan data marts-data marts yang

  Menggabungkan data marts-data marts yang

telah terbentuk untuk menghasilkan sebuah

telah terbentuk untuk menghasilkan sebuah

data warehouse yang utuh data warehouse yang utuh