megasoft.
SISTEM PENGELOLAAN
DATABASE METEOROLOGI
KLIMATOLOGI DAN GEOFISIKA
MegaSoft
Pusat Database
Pengarah
: Drs. Untung Merdijanto, MSi.
Penanggungjawab
: Drs. Yunus S. Swarinoto, MSi.
Tim Penyusun
Urip Haryoko, MSi.
Dra. Sri Puji Rahayu, MSi.
Iqbal, MTI
Husin Sanusi, ST
Hanapi, ST
Dwi Yuwono, ST
Tri Nurmayati, SSi
Layout supported by :
Cetakan kedua, Juli 2013
i
Daftar isi
KATA PENGANTAR
LATAR BELAKANG
STATUS PENGELOLAAN DATABASE MKG ............................................................... 1
RANCANGAN SISTEM PENGELOLAAN DATABASE MKG ................................... 3
KONSEP INTEGRASI DATABASE ............................................................................................. 3
RANCANGAN INFRASTRUKTUR .............................................................................................. 5
RANCANGAN SISTEM APLIKASI .............................................................................................. 6
SISTEM PENGELOLAAN DATABASE MKG ................................................................ 7
MEGASOFT ................................................................................................................................ 7
MEGAENTRY ............................................................................................................................. 7
MEGAVIEW ............................................................................................................................. 10
ii
Kata Pengantar
Undang Undang No 31 tahun 2009 dan Peraturan Pemerintah No. 46
tahun 2012 mengamanatkan agar Badan Meteorologi Klimatologi dan
Geofisika (BMKG) melakukan pengelolaan data Meteorologi Klimatologi
dan Geofisika (MKG). Seiring dengan bertambahnya data yang dihasilkan
dari pengamatan dan perkembangan teknologi informasi serta mengacu
pada program Organisasi Meteorologi Dunia (WMO), maka perlu
dilakukan pengelolaan data secara modern yaitu “Modern Database
Management System (MDBMS)”.
Database MKG dihasilkan dari pengamatan manual dan otomatis,
serta mempunyai format yang beragam. Kondisi ini mengharuskan BMKG
mempunyai sistem pengelolaan database yang terintegrasi agar dapat
menyediakan data yang valid, cepat dan mudah diakses. Pusat Database
saat ini sedang membangun sistem pengelolaan database MKG dengan
konsep single data entry yang diberi nama “MegaSoft”.
MegaSoft terdiri dari dua modul yaitu MegaEntry dan MegaView.
MegaEntry digunakan untuk entry data di Stasiun, sedangkan MegaView
untuk pengumpulan data, kendali mutu, export‐import, displai data,
monitoring data dan beberapa fungsi lainnya. Selama tahun 2013
MegaSoft diuji coba guna mendapatkan feedback dan perbaikan sistem,
dan pada Januari 2014 MegaSoft akan dioperasionalkan secara nasional.
Diharapkan semua UPT dan stakeholder database dapat segera
melaksanakan uji coba dan operasionalisasi. Selama uji coba tentu saja
akan ditemui kendala atau kekurangan sistem. Untuk itu kepada semua
pihak diharapkan dapat memberikan kritik dan saran yang membangun.
Buku ini dibuat dengan tujuan agar semua pihak dapat memperoleh
informasi yang komprehensif tentang sistem pengelolaan database MKG
MegaSoft. Akhir kata kami ucapkan terimakasih kepada semua pihak yang
telah berkontribusi dalam pembuatan buku ini. Semoga buku ini dapat
memberikan manfaat kepada kita semua.
DEPUTI BIDANG INSTRUMENTASI KALIBRASI
REKAYASA DAN JARINGAN KOMUNIKASI
Drs. UNTUNG MERDIJANTO, MSi.
NIP. 19590519 198203 1 002
iii
Latar Belakang
P
usat Database merupakan unit kerja baru dalam struktur
organisasi Badan Meteorologi Klimatologi dan Geofisika
(BMKG). Salah satu tugas Pusat Database adalah melakukan
pembinaan operasional sistem basis data meteorologi,
klimatologi, kualitas udara dan geofisika. Tahun 2010 telah melakukan
kegiatan desain database sebagai dasar pembangunan database
meteorologi, klimatologi, kualitas udara dan geofisika (MKKuG).
Sebagai tindaklanjut dari kegiatan tersebut adalah implementasi
pembangunan sistem pengelolaan database MKG.
Pengelolaan database MKKuG selama ini masih dilakukan secara
parsial atau tidak terintegrasi, baik dari sistem database yang
digunakan maupun media penyimpanannya, sehingga untuk
mendapatkan database yang lengkap dari berbagai sumber sulit
dilakukan. Hasil evaluasi beberapa data menunjukkan adanya data
yang belum dicek kualitasnya (belum melalui quality control) dan
belum tersedia metadatanya. Dengan kondisi data seperti yang
disebutkan di atas, maka pelayanan data dan informasi baik untuk
keperluan internal maupun eksternal tidak optimal dan memerlukan
waktu untuk mempersiapkan data dimaksud.
Beragam format data digital dan software database yang ada di
masing‐masing UPT dan BMKG Pusat sangat menyulitkan dalam
mengintegrasikan data. Disamping itu database tersimpan secara
parsial, tidak tersimpan dalam satu storage server. Untuk itu
diperlukan sistem pengelolaan database yang terintegrasi dari setiap
UPT ke satu pusat database. Sistem pengelolaan database yang
dimaksud adalah MegaSoft.
iv
Sasaran Pusat Database
“Melayani kebutuhan data bagi seluruh stakeholder
internal dan eksternal BMKG”
v
STATUS PENGELOLAAN
DATABASE MKG
S
ampai dengan akhir tahun 2010, pengelolaan database masih mengikuti
paradigma lama yaitu database dilaporkan dalam bentuk laporan atau
form, seperti form Me‐48, Me‐45, Fklim, Form‐a, Form‐b, pias gempa,
dan lain‐lain. Hanya beberapa jenis database MKG yang telah terkirim
dan tersimpan dalam bentuk digital, seperti data gempa, petir, AWS,
ARG, SMS Hujan, Satelit, Radar dan data yang terkirim melalui CMSS.
Penyimpanan data masih terpisah‐pisah dalam beberapa data server, dengan
format dan sistem database yang berbeda‐beda, sehingga data tersebut sulit
untuk diintegrasikan ke dalam sebuah sistem yang paripurna. Data AWS dan
ARG disimpan dalam beberapa server dengan format yang berbeda misalnya per
1 menit, 2 menit, 5 menit dan 10 menit. Pusat Database merekomendasikan agar
data AWS dan ARG disimpan dalam format yang sama yaitu per 10‐menit
dengan kolom data yang sama, satuan yang sama dan algoritma yang sama.
Contoh lain adalah dalam digitalisasi data synop, iklim harian (Fklim), hujan
harian Pos Kerjasama dan sebagainya, umumnya Stasiun masih membuat dalam
bentuk laporan. Pengelolaan database modern mengharuskan agar data mudah
diintegrasikan dan dapat diolah dengan mudah.
Pada awal tahun 2011, melalui kegiatan Rekonsiliasi Data MKG, telah berhasil
dikumpulkan katalog data baik dokumen maupun digital. Dari katalog ini dapat
dipetakan ketersediaan data dan format yang digunakan. Sejak saat ini telah
dikenalkan format baku dalam melakukan digitalisasi data yaitu menggunakan
software MicroSoft Excel. Pada tahun 2012 sampai 2013 telah banyak terkumpul
data digital dengan format yang standar. Proses selanjutnya adalah validasi data.
Data dengan format baku ini nantinya akan di‐ingest ke dalam sistem
pengelolaan database MegaSoft sebagai “Historical Data” dan disambungkan
dengan data yang baru.
1
Diagram di bawah menggambarkan alur pengiriman, pengumpulan dan
penyimpanan data saat ini.
Kelemahan sistem pengelolaan data seperti di atas adalah :
• Data tidak terintegrasi
• Format tidak standar
• Data tidak tervalidasi
• Akses data lambat
PP No. 46 Tahun 2012 Pasal 25 Ayat 2 :
Pengelolaan Data meliputi:
Pengumpulan
Pengolahan
Analisis
Penyimpanan dan
Pengaksesan
2
RANCANGAN SISTEM
PENGELOLAAN DATABASE
MKG
Ada tiga komponen penting yang harus menjadi perhatian BMKG khususnya
Pusat Database dalam mencermati pembangunan database BMKG.
Pertama, penetapan tugas pokok dan fungsi, tujuan, strategi dan sasaran yang
akan menjadi arah kebijakan (direction) bagi Pusat Database dalam
memposisikan diri di masa yang akan datang. Penentuan direction ini menjadi
dasar bagi tim di lingkungan Pusat Database dalam memikirkan program‐
program yang akan mendukung terwujudnya cita‐cita Pusat Database.
Kedua, setelah ditetapkan adanya arah kebijakan yang jelas, komponen penting
yang harus dipersiapkan adalah tersedianya sistem yang menunjang, struktur
organisasi yang mendukung terlaksananya program yang telah didefinisikan,
dan infrastruktrur Teknologi Informasi dan Komunikasi (TIK) sebagai pemampu
(enabler) untuk menunjang proses bisnis yang lebih efektif dan efisien. Sistem
berkenaan dengan proses bisnis dari setiap transaksi yang terjadi sejak
dilakukan pengamatan data di stasiun sampai manajemen penyimpanan dan
pengambilan kembali data di Pusat Database. Struktur organisasi terlihat dari
pembagian peran manajemen (management), pengembangan (development), dan
pemeliharaan (maintenance). Sedangkan infrastruktur TIK terdiri dari perangkat
keras (hardware), perangkat lunak (software), dan perangkat intelektual
(brainware).
Ketiga, semua yang tercantum dalam komponen kedua harus dijalankan oleh
sumber daya manusia yang kompeten dan memiliki dedikasi yang tinggi
terhadap kemajuan dan perkembangan organisasi.
Konsep Integrasi Database
Menyadari pentingnya integrasi database MKG, maka dirancang sebuah Desain
Sistem Database BMKG yang akan mengintegrasikan semua data MKG dari
berbagai sumber.
Diagram di bawah menggambarkan alur pengiriman, pengumpulan dan
penyimpanan data yang dibangun, agar semua data dapat terintegrasi secara
menyeluruh.
3
Keuntungan sistem pengelolaan data seperti di atas adalah :
• Data terintegrasi
• Format standar
• Data tervalaidasi
• Akses data cepat
PP No. 46 Tahun 2012 Pasal 32 Ayat 1 :
Hasil Pengolahan Data yang dilakukan oleh stasiun pengamatan milik
instansi pemerintah, pemerintah daerah, badan hukum, dan/atau
masyarakat yang masuk dalam sistem jaringan, wajib disampaikan
kepada Pusat Data Meteorologi, Klimatologi dan Geofisika melalui
sarana komunikasi yang dimiliki.
4
Rancangan Infrastruktur
Infrastruktur utama sistem pengelolaan database MKG adalah perangkat keras
Data Center (server cluster, storage, workstation), PC client di seluruh UPT,
sistem monitoring di Balai Besar Wilayah dan jaringan komunikasi.
Keterangan :
1. PC client diinstalasi di seluruh UPT dan digunakan untuk entry data
setiap jam.
2. PC client di 5 (lima) Balai Besar Wilayah digunakan untuk monitoring
data dan pengecekan kualitas data.
3. Perangkat keras di Pusat Data Nasional (Data Center) yang diinstalasi di
Kantor BMKG Pusat, terdiri dari server cluster, storage (sampai dengan
tahun 2013 ditargetkan berkapasitas 150 TB) dan workstation di Ruang
Operasional Database Pusat.
4. Perangkat Indonesia Climate Assessment and Dataset (ICAD), sebuah
web portal untuk aplikasi informasi iklim terdiri dari nilai indeks iklim
ekstrim dan trend wilayah Indonesia.
5. Perangkat keras sistem informasi iklim (CLISYS), yang merupakan
bagian dari perangkat proyek Strengthening.
6. Bagian dari sistem akses data berfungsi sebagai penyedia data untuk
aplikasi ICAD dan CLISYS.
5
Rancangan Sistem Aplikasi
Diagram desain sistem pengelolaan database MKG
Desain sistem pengelolaan database MKG mengacu pada diagram di atas. Sistem
aplikasi terdiri dari beberapa modul utama yaitu :
1. Modul pengumpulan data (manual entry dan automatic download dari
AWS, ARG, AAWS, Radar, Satelit, CMSS; serta ingest data historis)
2. Modul quality control (interval consistency, validity, temporal
consistency dan spatial consistency)
3. Modul Pengelolaan metadata stasiun
4. Modul laporan dan ekspor data
5. Modul otorisasi user
Pengelolaan data dilakukan mulai di UPT dengan meng‐entry data sesaat
melakukan pengamatan. Data akan tersimpan di harddisk lokal (UPT) dan di
kirim ke Pusat Database. Disamping itu data historis dari berbagai sumber
dengan berbagai format dapat dimasukkan ke dalam sistem pengelolaan
database; sehingga akan diperoleh data yang panjang dan kontinyu.
6
SISTEM PENGELOLAAN
DATABASE MKG
“MegaSoft”
MegaSoft
MegaSoft adalah suatu aplikasi berbasis web untuk mengelola database MKG
secara online dan terpusat. MegaSoft memiliki 2 application interface, yaitu
MegaEntry dan MegaView. Pembangunan dan operasionalisasi MegaSoft
ditargetkan tercapai dalam jangka waktu 5 tahun. Tahapan penyelesaiannya
adalah sebagai berikut :
1. Tahun 2010 : perancangan sistem
2. Tahun 2011 : pembangunan sistem tahap 1
3. Tahun 2012 : pembangunan sistem tahap 2
4. Tahun 2013 : instalasi PC Client dan uji coba sistem
5. Tahun 2014 : operasionalisasi sistem
MegaEntry
MegaEntry adalah suatu aplikasi entri data berbasis web yang terhubung dengan
MegaView. Aplikasi ini diinstal di setiap UPT pada PC Client Database.
Komunikasi yang menghubungkan antara MegaEntry dan MegaView di Pusat
adalah komunikasi intranet BMKG (VSAT) dan internet.
7
Aplikasi MegaEntry menyediakan 4 modul yaitu :
• Modul entry data current (saat ini sampai ke depan)
• Modul entry data historis
• Modul manajemen user dan
• Modul monitoring
Modul entry data saat ini (entry‐current) menyediakan form Agm‐1a, Agm‐1b,
Form‐a (intensitas hujan), hujan harian pos kerjasama, Me‐48 dan penguapan.
Pada setiap form dilengkapi dengan quality control yaitu dengan memberikan
batas minimum dan maksimum pada setiap parameter isian. Jika terdapat data
yang melampui batas tersebut, maka data ditolak. Data yang telah melewati
range yang telah ditentukan akan memberikan pesan kesalahan. Operator harus
membetulkan data tersebut sebelum data disimpan. Konfigurasi range tiap
elemen dapat disesuikan dengan kondisi lokal di masing‐masing stasiun. Contoh
pesan kesalahan seperti gambar dibawah ini.
8
Setiap user yang login akan diberikan role. Role menentukan fitur apa saja yang
bisa dilakukan oleh user. Role dikelompokkan menjadi tiga, yaitu Administrator,
Operator dan Guests.
Administrator adalah user yang memiliki fasilitas paling lengkap, misalnya
membuat user, membuat role dan meng‐entry data. Operator adalah user yang
memiliki fasilitas meng‐entry data. Guest adalah default user sistem MegaEntry.
User ini pasti ada ketika sistem MegaEntry di deploy.
Sesaat setelah data di‐commit, data akan terkirim ke server di Pusat Database
(BMKG Pusat). Antrian data yang belum terkirim dapat dimonitor lewat comm
status.
9
MegaView
MegaView adalah aplikasi berbasis web untuk mengelola data yang telah masuk
ke dalam sistem database. MegaView tidak hanya mengelola data yang dientry
dari UPT, namun juga data yang terkirim secara otomatis dari berbagai sumber
data seperti gempa, AWS, ARG, Satelit, Radar, data dari CMSS dan data yang di‐
ingest ke dalam sistem.
Secara garis besar MegaView menyediakan modul Station Profile, Metadata,
Pengaturan quality control, Data Gempa, Import Data, Export Data, Monitoring,
Report dan Administasi user. Monitoring pengiriman data dari stasiun dapat
dilihat seperti gambar di bawah ini. Stasiun yang telah mengirim data dan telah
diterima server di Pusat Database ditandai (√), stasiun yang belum mengirim
data ditandai (x).
10
Quality control data sangat diperlukan untuk menjaga validitas dan konsistensi
data. MegaSoft melakukan quality control di sistem MegaEnty dan MegaView.
MegaEntry di stasiun melakukan range cek yang disesuaikan dengan kondisi
lokal di stasiun. MegaView melakukan 4 jenis quality control, yaitu range check,
step check, spatial check dan consistency check. Range checks adalah modul
untuk memvalidasi apakah data yang dikirim tidak melebihi atau kurang dari
range yang telah ditentukan. Setiap stasiun dapat memiliki nilai batas yang
berbeda. Step check adalah modul untuk membandingkan data saat ini dengan
data sebelumnya. Spatial check adalah modul untuk membandingkan data
dengan stasiun yang terdekat. Consistency check adalah prosedur quality control
untuk menguji apakah dua parameter mempunyai konsistensi.
Hasil dari keempat metode validasi di atas akan ditampilkan dengan data flag
yang diberikan ke masing‐masing data yang telah melalui uji dari keempat test
tersebut di atas.
User management diaplikasikan dalam pengelolaan data. Setiap user dari stasiun
hanya memiliki akses untuk mengelola data dari stasiun mereka sendiri, akan
tetapi tidak menutup kemungkinan untuk mendapatkan akses untuk men‐
download data dari stasiun lain asalkan ada otoritas yang harus diatur oleh
administrator sistem dari Pusat Database.
11
Metadata stasiun adalah hal yang sangat krusial dalam pengelolaan data.
Membuat sistem metadata yang komprehensif membutuhkan waktu dan biaya
yang besar. Institusi yang mirip dengan BMKG dari negara‐negara maju
mempunyai masalah yang sama ketika mengelola metadata. MIRACLE, sistem
metadata yang dibangun oleh DWD Jerman memiliki lebih dari 200 tabel khusus
untuk mengelola metadata. MegaView dilengkapi juga dengan sistem metadata.
Untuk saat ini beberapa item yang dikelola adalah stasiun profile, histori stasiun,
observer, instrument dan kondisi tanah. Untuk melengkapi metadata, partisipasi
dan peran stasiun sangat diharapkan. Operator di stasiun yang paling
mengetahui kondisi di stasiun. Selain itu kedisiplinan juga sangat dibutuhkan,
Setiap ada perubahan kondisi di stasiun maka seharusnya operator meng‐
update melalui aplikasi MegaView.
12
Membangun sistem metadata dimulai dari sistem yang kecil, yang sesuai dengan
kebutuhan saat ini. Seiring dengan kebutuhan dan bisnis proses yang berubah,
maka sistem metadata dapat dikembangkan agar sesuai dengan kebutuhan user.
Dalam rangka membantu pelayanan data baik internal maupun eksternal BMKG,
Megaview dilengkapi fasilitas untuk ekspor dan ekstrak data.
Untuk informasi selengkapnya,
silahkan hubungi kami
pusatdatabase@bmkg.go.id
megasoft.database@bmkg.go.id
13
DATABASE METEOROLOGI
KLIMATOLOGI DAN GEOFISIKA
MegaSoft
Pusat Database
Pengarah
: Drs. Untung Merdijanto, MSi.
Penanggungjawab
: Drs. Yunus S. Swarinoto, MSi.
Tim Penyusun
Urip Haryoko, MSi.
Dra. Sri Puji Rahayu, MSi.
Iqbal, MTI
Husin Sanusi, ST
Hanapi, ST
Dwi Yuwono, ST
Tri Nurmayati, SSi
Layout supported by :
Cetakan kedua, Juli 2013
i
Daftar isi
KATA PENGANTAR
LATAR BELAKANG
STATUS PENGELOLAAN DATABASE MKG ............................................................... 1
RANCANGAN SISTEM PENGELOLAAN DATABASE MKG ................................... 3
KONSEP INTEGRASI DATABASE ............................................................................................. 3
RANCANGAN INFRASTRUKTUR .............................................................................................. 5
RANCANGAN SISTEM APLIKASI .............................................................................................. 6
SISTEM PENGELOLAAN DATABASE MKG ................................................................ 7
MEGASOFT ................................................................................................................................ 7
MEGAENTRY ............................................................................................................................. 7
MEGAVIEW ............................................................................................................................. 10
ii
Kata Pengantar
Undang Undang No 31 tahun 2009 dan Peraturan Pemerintah No. 46
tahun 2012 mengamanatkan agar Badan Meteorologi Klimatologi dan
Geofisika (BMKG) melakukan pengelolaan data Meteorologi Klimatologi
dan Geofisika (MKG). Seiring dengan bertambahnya data yang dihasilkan
dari pengamatan dan perkembangan teknologi informasi serta mengacu
pada program Organisasi Meteorologi Dunia (WMO), maka perlu
dilakukan pengelolaan data secara modern yaitu “Modern Database
Management System (MDBMS)”.
Database MKG dihasilkan dari pengamatan manual dan otomatis,
serta mempunyai format yang beragam. Kondisi ini mengharuskan BMKG
mempunyai sistem pengelolaan database yang terintegrasi agar dapat
menyediakan data yang valid, cepat dan mudah diakses. Pusat Database
saat ini sedang membangun sistem pengelolaan database MKG dengan
konsep single data entry yang diberi nama “MegaSoft”.
MegaSoft terdiri dari dua modul yaitu MegaEntry dan MegaView.
MegaEntry digunakan untuk entry data di Stasiun, sedangkan MegaView
untuk pengumpulan data, kendali mutu, export‐import, displai data,
monitoring data dan beberapa fungsi lainnya. Selama tahun 2013
MegaSoft diuji coba guna mendapatkan feedback dan perbaikan sistem,
dan pada Januari 2014 MegaSoft akan dioperasionalkan secara nasional.
Diharapkan semua UPT dan stakeholder database dapat segera
melaksanakan uji coba dan operasionalisasi. Selama uji coba tentu saja
akan ditemui kendala atau kekurangan sistem. Untuk itu kepada semua
pihak diharapkan dapat memberikan kritik dan saran yang membangun.
Buku ini dibuat dengan tujuan agar semua pihak dapat memperoleh
informasi yang komprehensif tentang sistem pengelolaan database MKG
MegaSoft. Akhir kata kami ucapkan terimakasih kepada semua pihak yang
telah berkontribusi dalam pembuatan buku ini. Semoga buku ini dapat
memberikan manfaat kepada kita semua.
DEPUTI BIDANG INSTRUMENTASI KALIBRASI
REKAYASA DAN JARINGAN KOMUNIKASI
Drs. UNTUNG MERDIJANTO, MSi.
NIP. 19590519 198203 1 002
iii
Latar Belakang
P
usat Database merupakan unit kerja baru dalam struktur
organisasi Badan Meteorologi Klimatologi dan Geofisika
(BMKG). Salah satu tugas Pusat Database adalah melakukan
pembinaan operasional sistem basis data meteorologi,
klimatologi, kualitas udara dan geofisika. Tahun 2010 telah melakukan
kegiatan desain database sebagai dasar pembangunan database
meteorologi, klimatologi, kualitas udara dan geofisika (MKKuG).
Sebagai tindaklanjut dari kegiatan tersebut adalah implementasi
pembangunan sistem pengelolaan database MKG.
Pengelolaan database MKKuG selama ini masih dilakukan secara
parsial atau tidak terintegrasi, baik dari sistem database yang
digunakan maupun media penyimpanannya, sehingga untuk
mendapatkan database yang lengkap dari berbagai sumber sulit
dilakukan. Hasil evaluasi beberapa data menunjukkan adanya data
yang belum dicek kualitasnya (belum melalui quality control) dan
belum tersedia metadatanya. Dengan kondisi data seperti yang
disebutkan di atas, maka pelayanan data dan informasi baik untuk
keperluan internal maupun eksternal tidak optimal dan memerlukan
waktu untuk mempersiapkan data dimaksud.
Beragam format data digital dan software database yang ada di
masing‐masing UPT dan BMKG Pusat sangat menyulitkan dalam
mengintegrasikan data. Disamping itu database tersimpan secara
parsial, tidak tersimpan dalam satu storage server. Untuk itu
diperlukan sistem pengelolaan database yang terintegrasi dari setiap
UPT ke satu pusat database. Sistem pengelolaan database yang
dimaksud adalah MegaSoft.
iv
Sasaran Pusat Database
“Melayani kebutuhan data bagi seluruh stakeholder
internal dan eksternal BMKG”
v
STATUS PENGELOLAAN
DATABASE MKG
S
ampai dengan akhir tahun 2010, pengelolaan database masih mengikuti
paradigma lama yaitu database dilaporkan dalam bentuk laporan atau
form, seperti form Me‐48, Me‐45, Fklim, Form‐a, Form‐b, pias gempa,
dan lain‐lain. Hanya beberapa jenis database MKG yang telah terkirim
dan tersimpan dalam bentuk digital, seperti data gempa, petir, AWS,
ARG, SMS Hujan, Satelit, Radar dan data yang terkirim melalui CMSS.
Penyimpanan data masih terpisah‐pisah dalam beberapa data server, dengan
format dan sistem database yang berbeda‐beda, sehingga data tersebut sulit
untuk diintegrasikan ke dalam sebuah sistem yang paripurna. Data AWS dan
ARG disimpan dalam beberapa server dengan format yang berbeda misalnya per
1 menit, 2 menit, 5 menit dan 10 menit. Pusat Database merekomendasikan agar
data AWS dan ARG disimpan dalam format yang sama yaitu per 10‐menit
dengan kolom data yang sama, satuan yang sama dan algoritma yang sama.
Contoh lain adalah dalam digitalisasi data synop, iklim harian (Fklim), hujan
harian Pos Kerjasama dan sebagainya, umumnya Stasiun masih membuat dalam
bentuk laporan. Pengelolaan database modern mengharuskan agar data mudah
diintegrasikan dan dapat diolah dengan mudah.
Pada awal tahun 2011, melalui kegiatan Rekonsiliasi Data MKG, telah berhasil
dikumpulkan katalog data baik dokumen maupun digital. Dari katalog ini dapat
dipetakan ketersediaan data dan format yang digunakan. Sejak saat ini telah
dikenalkan format baku dalam melakukan digitalisasi data yaitu menggunakan
software MicroSoft Excel. Pada tahun 2012 sampai 2013 telah banyak terkumpul
data digital dengan format yang standar. Proses selanjutnya adalah validasi data.
Data dengan format baku ini nantinya akan di‐ingest ke dalam sistem
pengelolaan database MegaSoft sebagai “Historical Data” dan disambungkan
dengan data yang baru.
1
Diagram di bawah menggambarkan alur pengiriman, pengumpulan dan
penyimpanan data saat ini.
Kelemahan sistem pengelolaan data seperti di atas adalah :
• Data tidak terintegrasi
• Format tidak standar
• Data tidak tervalidasi
• Akses data lambat
PP No. 46 Tahun 2012 Pasal 25 Ayat 2 :
Pengelolaan Data meliputi:
Pengumpulan
Pengolahan
Analisis
Penyimpanan dan
Pengaksesan
2
RANCANGAN SISTEM
PENGELOLAAN DATABASE
MKG
Ada tiga komponen penting yang harus menjadi perhatian BMKG khususnya
Pusat Database dalam mencermati pembangunan database BMKG.
Pertama, penetapan tugas pokok dan fungsi, tujuan, strategi dan sasaran yang
akan menjadi arah kebijakan (direction) bagi Pusat Database dalam
memposisikan diri di masa yang akan datang. Penentuan direction ini menjadi
dasar bagi tim di lingkungan Pusat Database dalam memikirkan program‐
program yang akan mendukung terwujudnya cita‐cita Pusat Database.
Kedua, setelah ditetapkan adanya arah kebijakan yang jelas, komponen penting
yang harus dipersiapkan adalah tersedianya sistem yang menunjang, struktur
organisasi yang mendukung terlaksananya program yang telah didefinisikan,
dan infrastruktrur Teknologi Informasi dan Komunikasi (TIK) sebagai pemampu
(enabler) untuk menunjang proses bisnis yang lebih efektif dan efisien. Sistem
berkenaan dengan proses bisnis dari setiap transaksi yang terjadi sejak
dilakukan pengamatan data di stasiun sampai manajemen penyimpanan dan
pengambilan kembali data di Pusat Database. Struktur organisasi terlihat dari
pembagian peran manajemen (management), pengembangan (development), dan
pemeliharaan (maintenance). Sedangkan infrastruktur TIK terdiri dari perangkat
keras (hardware), perangkat lunak (software), dan perangkat intelektual
(brainware).
Ketiga, semua yang tercantum dalam komponen kedua harus dijalankan oleh
sumber daya manusia yang kompeten dan memiliki dedikasi yang tinggi
terhadap kemajuan dan perkembangan organisasi.
Konsep Integrasi Database
Menyadari pentingnya integrasi database MKG, maka dirancang sebuah Desain
Sistem Database BMKG yang akan mengintegrasikan semua data MKG dari
berbagai sumber.
Diagram di bawah menggambarkan alur pengiriman, pengumpulan dan
penyimpanan data yang dibangun, agar semua data dapat terintegrasi secara
menyeluruh.
3
Keuntungan sistem pengelolaan data seperti di atas adalah :
• Data terintegrasi
• Format standar
• Data tervalaidasi
• Akses data cepat
PP No. 46 Tahun 2012 Pasal 32 Ayat 1 :
Hasil Pengolahan Data yang dilakukan oleh stasiun pengamatan milik
instansi pemerintah, pemerintah daerah, badan hukum, dan/atau
masyarakat yang masuk dalam sistem jaringan, wajib disampaikan
kepada Pusat Data Meteorologi, Klimatologi dan Geofisika melalui
sarana komunikasi yang dimiliki.
4
Rancangan Infrastruktur
Infrastruktur utama sistem pengelolaan database MKG adalah perangkat keras
Data Center (server cluster, storage, workstation), PC client di seluruh UPT,
sistem monitoring di Balai Besar Wilayah dan jaringan komunikasi.
Keterangan :
1. PC client diinstalasi di seluruh UPT dan digunakan untuk entry data
setiap jam.
2. PC client di 5 (lima) Balai Besar Wilayah digunakan untuk monitoring
data dan pengecekan kualitas data.
3. Perangkat keras di Pusat Data Nasional (Data Center) yang diinstalasi di
Kantor BMKG Pusat, terdiri dari server cluster, storage (sampai dengan
tahun 2013 ditargetkan berkapasitas 150 TB) dan workstation di Ruang
Operasional Database Pusat.
4. Perangkat Indonesia Climate Assessment and Dataset (ICAD), sebuah
web portal untuk aplikasi informasi iklim terdiri dari nilai indeks iklim
ekstrim dan trend wilayah Indonesia.
5. Perangkat keras sistem informasi iklim (CLISYS), yang merupakan
bagian dari perangkat proyek Strengthening.
6. Bagian dari sistem akses data berfungsi sebagai penyedia data untuk
aplikasi ICAD dan CLISYS.
5
Rancangan Sistem Aplikasi
Diagram desain sistem pengelolaan database MKG
Desain sistem pengelolaan database MKG mengacu pada diagram di atas. Sistem
aplikasi terdiri dari beberapa modul utama yaitu :
1. Modul pengumpulan data (manual entry dan automatic download dari
AWS, ARG, AAWS, Radar, Satelit, CMSS; serta ingest data historis)
2. Modul quality control (interval consistency, validity, temporal
consistency dan spatial consistency)
3. Modul Pengelolaan metadata stasiun
4. Modul laporan dan ekspor data
5. Modul otorisasi user
Pengelolaan data dilakukan mulai di UPT dengan meng‐entry data sesaat
melakukan pengamatan. Data akan tersimpan di harddisk lokal (UPT) dan di
kirim ke Pusat Database. Disamping itu data historis dari berbagai sumber
dengan berbagai format dapat dimasukkan ke dalam sistem pengelolaan
database; sehingga akan diperoleh data yang panjang dan kontinyu.
6
SISTEM PENGELOLAAN
DATABASE MKG
“MegaSoft”
MegaSoft
MegaSoft adalah suatu aplikasi berbasis web untuk mengelola database MKG
secara online dan terpusat. MegaSoft memiliki 2 application interface, yaitu
MegaEntry dan MegaView. Pembangunan dan operasionalisasi MegaSoft
ditargetkan tercapai dalam jangka waktu 5 tahun. Tahapan penyelesaiannya
adalah sebagai berikut :
1. Tahun 2010 : perancangan sistem
2. Tahun 2011 : pembangunan sistem tahap 1
3. Tahun 2012 : pembangunan sistem tahap 2
4. Tahun 2013 : instalasi PC Client dan uji coba sistem
5. Tahun 2014 : operasionalisasi sistem
MegaEntry
MegaEntry adalah suatu aplikasi entri data berbasis web yang terhubung dengan
MegaView. Aplikasi ini diinstal di setiap UPT pada PC Client Database.
Komunikasi yang menghubungkan antara MegaEntry dan MegaView di Pusat
adalah komunikasi intranet BMKG (VSAT) dan internet.
7
Aplikasi MegaEntry menyediakan 4 modul yaitu :
• Modul entry data current (saat ini sampai ke depan)
• Modul entry data historis
• Modul manajemen user dan
• Modul monitoring
Modul entry data saat ini (entry‐current) menyediakan form Agm‐1a, Agm‐1b,
Form‐a (intensitas hujan), hujan harian pos kerjasama, Me‐48 dan penguapan.
Pada setiap form dilengkapi dengan quality control yaitu dengan memberikan
batas minimum dan maksimum pada setiap parameter isian. Jika terdapat data
yang melampui batas tersebut, maka data ditolak. Data yang telah melewati
range yang telah ditentukan akan memberikan pesan kesalahan. Operator harus
membetulkan data tersebut sebelum data disimpan. Konfigurasi range tiap
elemen dapat disesuikan dengan kondisi lokal di masing‐masing stasiun. Contoh
pesan kesalahan seperti gambar dibawah ini.
8
Setiap user yang login akan diberikan role. Role menentukan fitur apa saja yang
bisa dilakukan oleh user. Role dikelompokkan menjadi tiga, yaitu Administrator,
Operator dan Guests.
Administrator adalah user yang memiliki fasilitas paling lengkap, misalnya
membuat user, membuat role dan meng‐entry data. Operator adalah user yang
memiliki fasilitas meng‐entry data. Guest adalah default user sistem MegaEntry.
User ini pasti ada ketika sistem MegaEntry di deploy.
Sesaat setelah data di‐commit, data akan terkirim ke server di Pusat Database
(BMKG Pusat). Antrian data yang belum terkirim dapat dimonitor lewat comm
status.
9
MegaView
MegaView adalah aplikasi berbasis web untuk mengelola data yang telah masuk
ke dalam sistem database. MegaView tidak hanya mengelola data yang dientry
dari UPT, namun juga data yang terkirim secara otomatis dari berbagai sumber
data seperti gempa, AWS, ARG, Satelit, Radar, data dari CMSS dan data yang di‐
ingest ke dalam sistem.
Secara garis besar MegaView menyediakan modul Station Profile, Metadata,
Pengaturan quality control, Data Gempa, Import Data, Export Data, Monitoring,
Report dan Administasi user. Monitoring pengiriman data dari stasiun dapat
dilihat seperti gambar di bawah ini. Stasiun yang telah mengirim data dan telah
diterima server di Pusat Database ditandai (√), stasiun yang belum mengirim
data ditandai (x).
10
Quality control data sangat diperlukan untuk menjaga validitas dan konsistensi
data. MegaSoft melakukan quality control di sistem MegaEnty dan MegaView.
MegaEntry di stasiun melakukan range cek yang disesuaikan dengan kondisi
lokal di stasiun. MegaView melakukan 4 jenis quality control, yaitu range check,
step check, spatial check dan consistency check. Range checks adalah modul
untuk memvalidasi apakah data yang dikirim tidak melebihi atau kurang dari
range yang telah ditentukan. Setiap stasiun dapat memiliki nilai batas yang
berbeda. Step check adalah modul untuk membandingkan data saat ini dengan
data sebelumnya. Spatial check adalah modul untuk membandingkan data
dengan stasiun yang terdekat. Consistency check adalah prosedur quality control
untuk menguji apakah dua parameter mempunyai konsistensi.
Hasil dari keempat metode validasi di atas akan ditampilkan dengan data flag
yang diberikan ke masing‐masing data yang telah melalui uji dari keempat test
tersebut di atas.
User management diaplikasikan dalam pengelolaan data. Setiap user dari stasiun
hanya memiliki akses untuk mengelola data dari stasiun mereka sendiri, akan
tetapi tidak menutup kemungkinan untuk mendapatkan akses untuk men‐
download data dari stasiun lain asalkan ada otoritas yang harus diatur oleh
administrator sistem dari Pusat Database.
11
Metadata stasiun adalah hal yang sangat krusial dalam pengelolaan data.
Membuat sistem metadata yang komprehensif membutuhkan waktu dan biaya
yang besar. Institusi yang mirip dengan BMKG dari negara‐negara maju
mempunyai masalah yang sama ketika mengelola metadata. MIRACLE, sistem
metadata yang dibangun oleh DWD Jerman memiliki lebih dari 200 tabel khusus
untuk mengelola metadata. MegaView dilengkapi juga dengan sistem metadata.
Untuk saat ini beberapa item yang dikelola adalah stasiun profile, histori stasiun,
observer, instrument dan kondisi tanah. Untuk melengkapi metadata, partisipasi
dan peran stasiun sangat diharapkan. Operator di stasiun yang paling
mengetahui kondisi di stasiun. Selain itu kedisiplinan juga sangat dibutuhkan,
Setiap ada perubahan kondisi di stasiun maka seharusnya operator meng‐
update melalui aplikasi MegaView.
12
Membangun sistem metadata dimulai dari sistem yang kecil, yang sesuai dengan
kebutuhan saat ini. Seiring dengan kebutuhan dan bisnis proses yang berubah,
maka sistem metadata dapat dikembangkan agar sesuai dengan kebutuhan user.
Dalam rangka membantu pelayanan data baik internal maupun eksternal BMKG,
Megaview dilengkapi fasilitas untuk ekspor dan ekstrak data.
Untuk informasi selengkapnya,
silahkan hubungi kami
pusatdatabase@bmkg.go.id
megasoft.database@bmkg.go.id
13