UJIAN AKHIR SEMESTER SISTEM MANAJEMEN BA
UJIAN AKHIR SEMESTER
SISTEM MANAJEMEN BASIS DATA
PROGRAM PASCA SARJANA
MANAJEMEN SISTEM INFORMASI
ARTIKEL BIG DATA
Dosen :
Dr. Achmad Solichin, S.Kom., M.T.I
DIKERJAKAN OLEH :
EDY NURYANTO
NIM. 1631600614
PROGRAM STUDI MAGISTER MANAJEMEN PROGRAM PASCASARJANA
UNIVERSITAS BUDI LUHUR
JAKARTA, 15 DESEMBER 2017
1. PENDAHULUAN
Akhir-akhir ini, istilah 'big data' menjadi topik yang dominan dan sangat sering dibahas
dalam industri IT. Banyak pihak yang mungkin heran kenapa topik ini baru menjadi pusat
perhatian padahal ledakan informasi telah terjadi secara berkelangsungan sejak dimulainya
era informasi. Perkembangan volume dan jenis data yang terus meningkat secara berlipatlipat dalam dunia maya Internet semenjak kelahirannya adalah fakta yang tak dapat dipungkiri.
Mulai data yang hanya berupa teks, gambar atau foto, lalu data berupa video hingga data yang
berasal system pengindraan. Lalu kenapa baru sekarang orang ramai-ramai membahas istilah
big data? Apa sebenarnya 'big data' itu?
Hingga saat ini, definisi resmi dari istilah big data belum ada. Namun demikian, latar
belakang dari munculnya istilah ini adalah fakta yang menunjukkan bahwa pertumbuhan data
yang terus berlipat ganda dari waktu ke waktu telah melampaui batas kemampuan media
penyimpanan maupun sistem database yang ada saat ini. Menurut McKinsey Global Institute
(MGI), dalam laporannya yang dirilis pada Mei 2011, mendefinisikan bahwa big data adalah
data yang sudah sangat sulit untuk dikoleksi, disimpan, dikelola maupun dianalisa dengan
menggunakan sistem database biasa karena volumenya yang terus berlipat. Tentu saja
definisi ini masih sangat relatif, tidak mendeskripsikan secara eksplisit sebesar apa big data
itu. Tetapi, untuk saat sekarang ini, data dengan volume puluhan terabyte hingga beberapa
petabyte kelihatannya dapat memenuhi definis MGI tersebut. Di lain pihak, berdasarkan
definisi dari Gartner, big data itu memiliki 3(tiga) atribute yaitu : volume , variety , dan velocity.
Ketiga atribute ini dipakai juga oleh principle IBM dalam mendifinisikan big data. Volume
berkaitan dengan ukuran, dalam hal ini kurang lebih sama dengan definisi dari MGI.
Sedangkan variety berarti tipe atau jenis data, yang meliputi berbagai jenis data baik data yang
telah terstruktur dalam suatu database maupun data yang tidak terorganisir dalam suatu
database seperti halnya data teks pada web pages, data suara, video, click stream, log file
dan lain sebagainya. Velocity dapat diartikan sebagai kecepatan dihasilkannya suatu data dan
seberapa cepat data itu harus diproses agar dapat memenuhi permintaan pengguna.
Big Data adalah konsep yang lahir dari dunia teknologi informasi. Ketika kita berdiskusi
tentang teknologi informasi, topik pembicaraan pasti tak akan terlepas dari soal software atau
hardware atau bahkan mungkin kedua-duanya. Sering berkaitan dengan kecanggihan,
performa, maupun hal-hal baru yang ditawarkan oleh suatu software/hardware yang menjadi
topik pembicaraan. Demikian juga dengan Big Data, pasti juga berbicara soal software dan
hardware.
Namun demikian, aplikasi Big Data tidak hanya berkaitan dengan penggunaan
hardware dan software yang berperforma tinggi, tetapi lebih mengacu pada pemberdayaan
data sebagai penunjang bisnis. Tidak dapat dipungkiri bahwa dunia bisnis di era informasi ini
sangat bergantung pada pendayagunaan data dan informasi. Oleh karena itu, dunia bisnis
adalah salah satu wilayah aplikasi Big Data.
Hal pertama ketika kita ditanyakan tentang perusahaan apa saja yang menggunakan
Big Data, maka sebagian besar kita akan menjawab perusahaan web service. Sebagai contoh,
google menggunakan akumulasi data dalam skala yang sangat besar untuk melakukan bisnis
iklan. Selain itu dalam dunia sns, facebook pun menggunakan data anggotanya yang sangat
besar sebagai dasar untuk meningkatkan keuntungan dari iklan, permainan game dan
penjualan software. Bahkan EC (electronic commerce) shop/ toko komersial elektronik seperti
amazon, rakuten pun menggunakan data keanggotaannya, sejarah pembelian, click stream
(perilaku pengunjung dalam situs) dan data lainnya sebagai bahan untuk membuat
rekomendasi yang sesuai dengan keingingan setiap anggota. Dengan memberikan informasi
tersebut diharapkan dapat memperkuat keinginan para pengunjungnya untuk berbelanja.
Salah satu perusahaan Web mengatakan jika mereka tidak menggunakan EC shop
sebagai salah satu cara berbisnis apakah mereka memiliki hubungan dengan big data?
Aplikasi big data tidak terbatas untuk perusahaan web maupun EC saja. Sebagai contoh ada
perusahaan telekomunikasi menganalisis log komunikasi untuk mencari tahu ke provider
manakah yang paling banyak mendapat arah tujuan ketika menelpon dan mengirim surat
melalui email dan sms. Dengan demikian perusahaan/provider tersebut mampu mencegah
bahaya akan pindahnya kostumer dengan cara memberikan penawaran khusus secara
terpisah, maupun melakukan promo baru untuk mengundang teman agar mau masuk provider
yang sama. Kemudian mungkin akan timbul anggapan bahwa perusahaan web dan
perusahaan telekomunikasi menggunankan data dan informasi secara digital, makanya
mudah, sedangkan bagaimanakah dengan perusahaan yang informasi dan datanya tidak
berbentuk digital?
Kalau coba kita lihat contoh lainnya, saat ini perusahaan asuransi dijepang
mengumpulkan informasi tentang perilaku mengemudi kliennya dengan memonitor gps pada
carnavi milik setiap klien. Dari pengumpulan informasi ini tidak hanya data tentang umur, jarak
tempuh, jenis perizinan saja yang didapat, namun dengan mengetahui keadaan mengemudi
setiap kliennya, perusahaan asuransi tersebut mampu menganalisis resiko setiap kliennya dan
memastikan margin harga yang sesuai. Hal ini sama dengan ketika perusahaan kartu kredit
menganalisis tempat pelanggan menggunakan kartu kredit dan penggunaan dengan
smartphone sehingga dapat dideteksi apakah terjadi penyalahgunaan atau tidak.
Apakah perusahaan selain perusahaan financial dan perusahaan servis seperti halnya
perusahaan yang langsung menjual barang nyata pun dapat menjadi pengguna big data?
Sebagai mana kita ketahui perusahaan manapun yang terdapat kegiatan penjualan dan
memiliki pelanggan maka pasti membutuhkan feedback dan informasi tentang needs dari para
pelanggannya. Disinilah analisis big data memegang peranan yang menentukan bagi
kemajuan perusahaan.
Penggunaan big data juga dapat diaplikasikan pada perusahaan infrastruktur maupun
industri primer. Sebagai contoh dengan menggabungkan sensor yang dipasang di jalan raya
dengan data yang dikumpulkan dari GPS yang telah terpasang pada mobil maka dapat
diketahui kodisi kepadatan lalu lintas. Bahkan dengan menggabungkannya dengan sistem
traffic light, dipastikan akan dapat mempercepat waktu tempuh suatu perjalanan sehingga
mampu mengurangi pengeluaran gas CO2. Dalam industri primer yang dikatakan tertinggal
dengan IT sekalipun dapat menjadi lebih efektif dalam segi operasionalnya. Sebagai contoh
dengan pemasangan sensor cuaca pada ladang pertanian para pelaku industri primer dapat
menggabungkan data cuaca dengan data penghasilan maupun kualitas produk yang
dihasilkan sehinnga dapat dicari cara yang lebih efektif agar mampu meningkatkan kualitas
produknya untuk mendapatkan keuntungan yang lebih..
Hasil yang didapat dari pengaplikasian Big Data merupakan bentuk dari sebuah
knowhow dan strategi bisnis. Yang semestinya menjadi PR yang perlu dipikirkan oleh para
pelaku bisnis saat ini.
Dengan demikian, dapat dipahami bahwa big data memiliki wilayah aplikasi yang
sangat luas. Penggunaan big data yang terbatas hanya pada bisnis web service dan SNS saja
merupakan pemikiran yang tidak tepat.
Penggunaan big data mampu membuat kita untuk melihat lagi apa saja data yang kita
miliki, apakah ada data yang terlantar atau terabaikan, kemudian kita dapat mengoptimalkan
sumber data yang kita miliki. Namun demikian, bukan berarti dengan menggunakan big data
segalanya akan berjalan dengan baik. Meski telah menganalis data dan mengetahui barang
yang akan dijual sekalipun, jika tidak didistribusikan maka akan sama saja menyia-nyiakan
modal berharga yang kita punya. Begitu pula apabila biaya menganalisis data jauh diatas
keuntungan.
2. TEKNOLOGI BIG DATA
Big Data bukanlah sebuah teknologi, teknik, maupun inisiatif yang berdiri sendiri. Big
Data adalah suatu trend yang mencakup area yang luas dalam dunia bisnis dan teknologi. Big
Data menunjuk pada teknologi dan inisiatif yang melibatkan data yang begitu beragam, cepat
berubah, atau berukuran super besar sehingga terlalu sulit bagi teknologi, keahlian, maupun
infrastruktur konvensional untuk dapat menanganinya secara efektif. Dengan kata lain, Big
Data memiliki ukuran (volume), kecepatan (velocity), atau ragam (variety) yang terlalu ekstrim
untuk dikelola dengan teknik konvensional.
Big Data melibatkan proses pembuatan data, penyimpanan, penggalian informasi, dan
analisis yang menonjol dalam hal volume, velocity, dan variety.
A. Volume (Ukuran).
Pada tahun 2000 lalu, PC biasa pada umumnya memiliki kapasitas penyimpanan sekitar
10 gigabytes. Saat ini, Facebook menyedot sekitar 500 terabytes data baru setiap harinya;
sebuah pesawat Boeing 737 menghasilkan sekitar 240 terabytes data penerbangan
dalam satu penerbangan melintasi Amerika; makin menjamurnya penggunaan ponsel
pintar (smartphone), bertambahnya sensor-sensor yang disertakan pada perangkat
harian, akan terus mengalirkan jutaan data-data baru, yang terus ter-update, yang
mencakup data-data yang berhubungan dengan lingkungan, lokasi, cuaca, video bahkan
data tentang suasana hati si pengguna ponsel pintar.
B. Velocity (kecepatan).
Clickstreams maupun ad impressions mencatat perilaku pengguna Internet dalam jutaan
event per detik; algoritma jual-beli saham dalam frekwensi tinggi dapat mencerminkan
perubahan pasar dalam hitungan microseconds; proses-proses yang melibatkan
hubungan antara suatu mesin dengan mesin lainnya telah melibatkan pertukaran data
antar jutaan perangkat; peralatan sensor dan perangkat-perangkat pada infrastruktur
menghasilkan log data secara real time; sistem game online dapat melayani jutaan
pengguna secara bersamaan, yang masing-masing memberikan sejumlah input per
detiknya.
C. Variety (ragam).
Big Data tidak hanya menyangkut data yang berupa angka-angka, data tanggal, dan
rangkaian teks. Big Data juga meliputi data-data ruang / geospatial, data 3D, audio dan
video, dan data-data teks tak berstruktur termasuk file-file log dan media sosial. Sistem
database tradisional didesain untuk menangani data-data berstruktur, yang tak terlalu
sering mengalami update atau updatenya dapat diprediksi, serta memiliki struktur data
yang konsisten yang volumenya tak pernah sebesar Big Data. Selain itu, sistem database
tradisional juga didesain untuk digunakan dalam satu server yang berdiri sendiri, yang
berakibat pada keterbatasan dan mahalnya biaya untuk peningkatan kapasitas,
sedangkan aplikasi sudah dituntut untuk mampu melayani pengguna dalam jumlah yang
jauh lebih besar dari yang pernah ada sebelumnya. Dalam hal ini, database Big Data
seperti halnya MongoDB maupun HBase, dapat memberikan solusi yang feasible yang
memungkinkan peningkatan profit perusahaan secara signifikan.
Gambar 1 : menggambarkan 3(tiga) karakteristik Big Data.
Gabungan dari ketiga karakteristik ini menghasilkan data yang terlalu kompleks untuk ditangani
dengan sistem konvensional. Singkatnya, Big Data menggambarkan kumpulan data yang begitu
besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software
tradisional.
2.1. Jenis Teknologi Big Data
Dalam hal Teknologi, bentangan Big Data didominasi oleh dua jenis teknologi Big Data
yaitu: (1) Big Data operasional: sistem yang memiliki kapabilitas operasional untuk pekerjaanpekerjaan bersifat interaktif dan real time dimana data pada umumnya diserap dan disimpan; (2)
Big Data analitis: sistem yang menyediakan kapabilitas analitis untuk mengerjakan analisis yang
kompleks dan retrospektif yang dapat melibatkan sebagian besar atau bahkan keseluruhan data.
Dalam keberadaannya, kedua jenis teknologi Big Data ini bersifat saling melengkapi dan sering
digunakan secara bersamaan.
Beban kerja operasional dan analitis terhadap Big Data telah menyebabkan kebutuhan
sistem yang berlawanan satu sama lain, dan sistem Big Data saat ini telah berevolusi untuk
menangani kedua jenis kerja tersebut secara khusus, terpisah, dan dengan cara yang sangat
berbeda. Baik kebutuhan kerja operasional maupun analitis untuk Big Data, masing-masing telah
mendorong penciptaan arsitektur-arsitektur teknologi baru. Sistem operasional, seperti halnya
NoSQL database, berfokus pada pelayanan terhadap permintaan akses yang tinggi yang terjadi
dalam waktu bersamaan, dengan tetap memberikan respon yang seketika (low latency) terhadap
permintaan akses tersebut. Akses data terhadap sistem operasional ini dapat dilakukan dengan
berbagai pilihan kriteria. Dilain pihak, sistem analitis cenderung berfokus pada penanganan arus
data yang lebih besar, query-query yang ditujukan pada data tersebut bisa sangat kompleks, dan
setiap kali dieksekusi dapat melibatkan sebagian besar atau keseluruhan data yang ada dalam
sistem. Baik sistem Big Data operasional maupun sistem Big Data analitis, kedua-duanya
dioperasikan dengan melibatkan sejumlah servers yang tergabung dalam suatu cluster komputer,
dan digunakan untuk mengelola puluhan atau ratusan terabytes data yang memuat miliaran
record.
2.1.1. Teknologi Big Data Operasional
Untuk menangani pekerjaan-pekerjaan Big Data Operasional, telah dibangun sistem Big
Data dengan database NoSQL seperti halnya database berbasis dokumen (document
based database) yang dapat ditujukan untuk berbagai tipe aplikasi, database key-value
stores, column family stores, dan database graph yang dioptimalkan untuk aplikasi yang
lebih spesifik. Teknologi NoSQL, yang telah dikembangkan untuk mengatasi kekurangan
dari database relasional (relational database) pada lingkungan komputasi modern, dikenal
lebih cepat serta lebih mudah dan murah dalam hal peningkatan skala (more scalable)
dibanding relational databases.
Sistem Big Data dengan database NoSQL telah didesain untuk memanfaatkan
keunggulan dari arsitektur cloud computing (komputasi awan) yang telah muncul dalam
dekade terakhir ini. Hal ini memungkinkan dijalankannya komputasi berskala besar secara
efisien dan dengan biaya yang relatif lebih murah. Sebagai hasilnya, sistem NoSQL
dengan komputasi awan ini telah menjadikan perangkat kerja Big Data operasional lebih
mudah dikelola, serta dapat diimplementasikan dengan lebih murah dan cepat.
2.1.2. Teknologi Big Data Analitis
Pekerjaan-pekerjaan Big Data analitis cenderung diproses dengan mengimplementasikan
sistem database MPP dan MapReduce. Munculnya teknologi ini juga merupakan reaksi
terhadap keterbatasan dan kurangnya kemampuan relational database tradisional untuk
mengelola database dalam skala lebih dari satu server (terdistribusi). Disamping itu,
MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat
berfungsi sebagai pelengkap terhadap kapabilitas SQL.
Dengan semakin populernya penggunaan berbagai jenis aplikasi dan para penggunanya
terus menerus memproduksi data dari pemakaian aplikasi tersebut, terdapat sejumlah
upaya analisa retrospektif yang benar-benar dapat memberikan nilai berarti terhadap
kemajuan bisnis. Ketika upaya-upaya tersebut mesti melibatkan algoritma yang lebih
rumit, MapReduce telah menjadi pilihan pertama untuk melakukan analisa retrospektif
tersebut. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang
memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain,
data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop
dengan MapReduce-nya.
3. IMPLEMENTASI BIG DATA
Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan.
Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja
secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang
produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter
sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana
menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan
illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku
konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang
transaksi kartu kredit dapat dikategorikan sebagai Big Data.
Untuk menyimpan dan mengolah data dalam jumlah besar diperlukan waktu dan biaya
yang besar. Untuk memberdayakan berbagai jenis / variasi data diperlukan prosedur yang
sesuai dengan tiap jenis data tersebut. Terakhir, untuk memanfaatkan data yang terus
menerus diproduksi dengan kecepatan tertentu, diperlukan kecepatan dalam mengolah data
untuk memenuhi target yang ditentukan. Ketiga karakteristik ini menggambarkan betapa
sulitnya menangani dan memanfaatkan Big Data. Jadi kalau disederhanakan, Big Data itu
adalah data yang besar dalam volume, kumpulan dari berbagai jenis data, dan diproduksi
dengan kecepatan tertentu.
Dalam hal volume, telah terjadi peningkatan yang drastis sejak sekitar tahun 2000
sehingga kemudian muncul istilah Ledakan Informasi. Berdasarkan laporan yang dilansir oleh
IDC (International Data Corporation). "2011 Digital Universe Study: Extracting Value from
Chaos", diperkirakan bahwa pada 5(lima) tahun kedepan, volume data yang dihasilkan pertahun akan meningkat menjadi 6 kali lipat. Pada tahun 2005, terdapat 130 Exabytes data dan
menjadi 1,2 Zettabytes pada 2010. Pada tahun 2015, diperkirakan akan meledak menjadi 7,9
Zettabytes. Sekedar referensi, 1 Zettabyte kurang lebih sama dengan data dalam 200 miliar
keping DVD. Latar belakang dari membludaknya volume data ini adalah proses komputerisasi
yang telah semakin merasuk ke dalam segala aspek kehidupan manusia. Mulai dari PC
(Personal Computer), smartphone, ATM, komputer kantor swasta, komputer kantor
pemerintah hingga kamera jalan raya milik POLRI maupun Kemenhub.
Dalam hal jenis, data sudah tidak lagi hanya berupa lembaran data seperti halnya data
yang ditampilkan dengan MS Excel, MS Access, ataupun software pengolah data lain yang
menyimpan teks dan angka dalam suatu format tertentu. Data saat ini bisa berupa teks data
yang dimuat pada website, blog, social network seperti halnya Facebook dan Twitter, yang
tidak memiliki format yang ditentukan sebelumnya. Data bisa berupa music maupun video
digital yang didistribusikan dan diakses melalui internet dan terus bertambah.
Dalam hal kecepatan, data dihasilkan bukan lagi dalam hitungan hari, dan umur
berlakunya data pun menjadi lebih pendek. Sebagai contoh, laporan hasil analisa transaksi
jual-beli yang sebelumnya dilakukan per-bulan atau perminggu kini dilakukan per-hari bahkan
per-jam. Dengan demikian, masa berlaku data hasil analisa pun bukan lagi dalam hitungan
bulan tapi hanya berlaku dalam satu jam. Bahkan, tidak sedikit proses pengolahan, analisa,
dan pendistribusian data yang telah bisa dilakukan secara real-time.
1.1. Penerapan Big Data dengan Hadoop
Kini teknologi untuk mengolah Big Data, Hadoop Mapreduce, sudah di depan
mata. Selanjutnya bergantung pada keberanian kita untuk mau memberdayakannya atau
tidak. Hadoop MapReduce memiliki banyak keunggulan, diantaranya:
a. Sederhana.
Walaupun Hadoop MapReduce adalah software yang mengolah data secara
terdistribusi dan paralel, kita tidak diwajibkan untuk mengerti dan paham apa itu
distributed computing.
b. Fleksibel dalam Ukuran.
Hadoop dapat dijalankan mulai dari satu hingga ribuan PC. Jadi, dapat dimulai dengan
ukuran kecil dulu atau sesuai kebutuhan. Bila ingin meningkatkan kemampuannya,
cukup tambah jumlah PC tanpa harus mengubah setting dari awal. Bandingkan kalau
kita menggunakan system konvensional. Pada saat komputer kita sudah tidak mampu
lagi mengolah data yang semakin besar, atau ketika teknologi komputer yang kita
pakai sudah mulai ketinggalan jaman, tentu kita harus membeli komputer baru yang
memiliki kemampuan yang lebih tinggi, atau meng-upgrade komputer yang sudah ada.
Itu berarti kita harus menginstal system baru mulai dari awal, kemudian memindahkan
data dari komputer lama ke komputer baru, dan melakukan setting ulang agar dapat
berjalan seperti sebelumnya. Bila kita menggunakan Hadoop, kita tak perlu
memindahkan data dan melakukan setting ulang, cukup dengan menambahkan satu
komputer lagi, maka secara otomatis data akan terdistribusi ke komputer yang baru.
Hadoop itu fleksibel, bisa dijalankan dalam 3(tiga) mode yaitu:
1. Mode Standalone : dengan satu PC Windows;
2. Mode Pseudo-Distributed: dengan satu PC Linux yang dibuat seolah-olah Hadoop
berjalan dalam system yang terdistribusi;
3. Mode Fully Distributed: menjalankan Hadoop sungguhan dalam beberapa PC.
c. Handal, anti Gagal.
Ketika kita bicara tentang pengolahan data yang dilakukan secara paralel dalam
banyak komputer, tentu akan timbul pertanyaan: Bagaimana kalau salah satu dari
komputer itu down atau rusak dan tak dapat beroperasi? Bukankah ini akan
menyebabkan seluruh proses akan gagal karena kehilangan salah satu bagiannya.
Tidak demikian dengan Hadoop, walaupun dalam suatu proses pengolahan data
terdapat komputer yang tiba-tiba rusak, Hadoop tetap dapat berjalan normal.
1.2. Penerapan Big Data oleh Google
Google berasal dari sebuah proyek penelitian yang dimulai pada Januari 1996 oleh
dua mahasiswa pasca sarjana, Larry Page dan Sergey Brin, di Stanford University. Saat
ini Google telah berkembang menjadi raksasa Internet yang sangat pintar, yang telah
menjadi guru tempat bertanya apa saja di dunia maya Internet. Boleh dikatakan terlalu
naif bila ada pengguna Internet yang mengaku tidak tahu Google. Google telah menjadi
bagian hidup para penjelajah dunia maya. Menjadi milik semuanya dan memiliki
semuanya.
Pada awal kelahirannya, Google dibekali dengan teknologi yang disebut
PageRank yang telah menjadikannya search engine yang unik karena teknologi tersebut
belum pernah dimiliki oleh search engine yang telah ada sebelum Google.
Namun, bukan hanya itu. Google juga telah mampu mengelola, memanfaatkan,
dan memberdayakan limpahan data yang membludak pada era Ledakan Informasi ini.
Google bahkan telah mampu mengolah dan memberdayakan keberadaan Big Data jauh
sebelum istilah itu diperbincangkan banyak orang. Google memiliki teknologi crawler yang
mampu mendownload seluruh web page yang ada di dunia Internet secara terus menerus
mengikuti update pada jutaan web page tersebut. Google memiliki media penyimpanan
data yang dikenal dengan nama Google File System (GFS) yang menyimpan data secara
terdistribusi dalam ribuan komputer. Kapasitas penyimpanan GFS ini bisa terus
diperbesar hanya dengan menambah jumlah komputer yang disertakan didalamnya.
Google memiliki teknologi pengolahan data yang disebut MapReduce, yang mampu
mengolah data yang disimpan dalam GFS secara paralel menggunakan ribuan komputer
sehingga mampu mengolah data ukuran raksasa dalam waktu berkali lipat lebih cepat
daripada system konvensional. Google juga memiliki system database yang disebut
Bigtable, yang mampu menyajikan data berukuran raksasa yang sudah tak mampu lagi
ditangani oleh system database yang telah ada. Dan masih banyak lagi. Jadi, intinya,
Google telah mampu melihat potensi pada Big Data, kemudian mengolah dan
memberdayakannya jauh sebelum istilah Big Data mulai diperbincangkan.
Google itu hebat dan kaya, dan untungnya dia juga tidak pelit. Google telah
membuka akses terhadap teknologi garapannya kepada masyarakat internasional.
Google telah memaparkan konsep dan cara kerja GFS, MapReduce, dan Bigtable secara
detail dan dapat diakses dengan cuma-cuma. Hal ini telah berhasil membuka mata para
raksasa Internet pada dunia yang lebih besar.
Apache bertindak cepat dengan mengembangkan dan merilis versi open source
dari Google File System yang diberi nama Hadoop Distributed File System (HDFS) dan
juga versi open source dari MapReduce yang dibuat satu paket dengan HDFS.
4. KESIMPULAN
Saat ini kita sedang berada dalam era Ledakan Informasi, dan kemampuan untuk
memberdayakan Big Data adalah kunci dalam meraih sukses dan kemenangan. Google telah
menyadarinya lebih dulu, dan sukses Google adalah bukti nyata. Hadoop MapReduce, senjata
dalam perang Big Data telah di depan mata, para raksasa sudah mulai bergerak, apakah kita
akan tinggal diam?
Terdapat 2 (dua) type teknologi untuk memberdayakan Big data, yaitu:
(1) teknologi untuk memproses Big Data demi kebutuhan operasional, yakni: database NoSQL
(MongoDB, HBase, dll), dan;
(2) teknologi untuk memproses Big Data guna kebutuhan analitis seperti halnya Hadoop. Dengan
mengimplementasikan kedua type teknologi Big Data ini, akan memungkinkan didapatkannya
nilai-nilai baru yang dapat memberikan manfaat pada operasional perusahaan berupa
penghematan pengeluaran, peningkatan keuntungan, dan pencapaian sasaran-sasaran bisnis
lainnya.
Big Data bukan hanya masalah ukuran yang besar, terlebih yang menjadi ciri khasnya adalah
jenis datanya yang sangat beragam dan laju pertumbuhan maupun frekwensi perubahannya yang
tinggi. Dalam hal ragam data, Big Data tidak hanya terdiri dari data berstruktur seperti halnya data
angka-angka maupun deretan huruf-huruf yang berasal dari sistem database mendasar seperti
halnya sistem database keuangan, tetapi juga terdiri atas data multimedia seperti data teks, data
suara dan video yang dikenal dengan istilah data tak berstruktur. Terlebih lagi, Big Data juga
mencakup data setengah berstruktur seperti halnya data e-mail maupun XML. Dalam hal
kecepatan pertumbuhan maupun frekwensi perubahannya, Big Data mencakup data-data yang
berasal dari berbagai jenis sensor, mesin-mesin, maupun data log komunikasi yang terus
menerus mengalir. Bahkan, juga mencakup data-data yang tak hanya data yang berada di
internal perusahaan, tetapi juga data-data di luar perusahaan seperti data-data di Internet. Begitu
beragamnya jenis data yang dicakup dalam Big Data inilah yang kiranya dapat dijadikan patokan
untuk membedakan Big Data dengan sistem manajemen data pada umumnya.
5. `REFERENSI
a.
http://www.gartner.com/newsroom/id/1731916
b.
http://japan.emc.com/collateral/analyst-reports/idc-extracting-value-from-chaos-ar.pdf
c.
http://www.hjo3.net/bytes.html
d.
http://hadoop.apache.org/
e.
http://en.wikipedia.org/wiki/Apache_Hadoop
f.
http://en.wikipedia.org/wiki/Google#History
g.
"Hadoop: The Definitive Guide", Tom White, O'REILLY 2012.
h.
Artikel Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing
Volumes of Data.
SISTEM MANAJEMEN BASIS DATA
PROGRAM PASCA SARJANA
MANAJEMEN SISTEM INFORMASI
ARTIKEL BIG DATA
Dosen :
Dr. Achmad Solichin, S.Kom., M.T.I
DIKERJAKAN OLEH :
EDY NURYANTO
NIM. 1631600614
PROGRAM STUDI MAGISTER MANAJEMEN PROGRAM PASCASARJANA
UNIVERSITAS BUDI LUHUR
JAKARTA, 15 DESEMBER 2017
1. PENDAHULUAN
Akhir-akhir ini, istilah 'big data' menjadi topik yang dominan dan sangat sering dibahas
dalam industri IT. Banyak pihak yang mungkin heran kenapa topik ini baru menjadi pusat
perhatian padahal ledakan informasi telah terjadi secara berkelangsungan sejak dimulainya
era informasi. Perkembangan volume dan jenis data yang terus meningkat secara berlipatlipat dalam dunia maya Internet semenjak kelahirannya adalah fakta yang tak dapat dipungkiri.
Mulai data yang hanya berupa teks, gambar atau foto, lalu data berupa video hingga data yang
berasal system pengindraan. Lalu kenapa baru sekarang orang ramai-ramai membahas istilah
big data? Apa sebenarnya 'big data' itu?
Hingga saat ini, definisi resmi dari istilah big data belum ada. Namun demikian, latar
belakang dari munculnya istilah ini adalah fakta yang menunjukkan bahwa pertumbuhan data
yang terus berlipat ganda dari waktu ke waktu telah melampaui batas kemampuan media
penyimpanan maupun sistem database yang ada saat ini. Menurut McKinsey Global Institute
(MGI), dalam laporannya yang dirilis pada Mei 2011, mendefinisikan bahwa big data adalah
data yang sudah sangat sulit untuk dikoleksi, disimpan, dikelola maupun dianalisa dengan
menggunakan sistem database biasa karena volumenya yang terus berlipat. Tentu saja
definisi ini masih sangat relatif, tidak mendeskripsikan secara eksplisit sebesar apa big data
itu. Tetapi, untuk saat sekarang ini, data dengan volume puluhan terabyte hingga beberapa
petabyte kelihatannya dapat memenuhi definis MGI tersebut. Di lain pihak, berdasarkan
definisi dari Gartner, big data itu memiliki 3(tiga) atribute yaitu : volume , variety , dan velocity.
Ketiga atribute ini dipakai juga oleh principle IBM dalam mendifinisikan big data. Volume
berkaitan dengan ukuran, dalam hal ini kurang lebih sama dengan definisi dari MGI.
Sedangkan variety berarti tipe atau jenis data, yang meliputi berbagai jenis data baik data yang
telah terstruktur dalam suatu database maupun data yang tidak terorganisir dalam suatu
database seperti halnya data teks pada web pages, data suara, video, click stream, log file
dan lain sebagainya. Velocity dapat diartikan sebagai kecepatan dihasilkannya suatu data dan
seberapa cepat data itu harus diproses agar dapat memenuhi permintaan pengguna.
Big Data adalah konsep yang lahir dari dunia teknologi informasi. Ketika kita berdiskusi
tentang teknologi informasi, topik pembicaraan pasti tak akan terlepas dari soal software atau
hardware atau bahkan mungkin kedua-duanya. Sering berkaitan dengan kecanggihan,
performa, maupun hal-hal baru yang ditawarkan oleh suatu software/hardware yang menjadi
topik pembicaraan. Demikian juga dengan Big Data, pasti juga berbicara soal software dan
hardware.
Namun demikian, aplikasi Big Data tidak hanya berkaitan dengan penggunaan
hardware dan software yang berperforma tinggi, tetapi lebih mengacu pada pemberdayaan
data sebagai penunjang bisnis. Tidak dapat dipungkiri bahwa dunia bisnis di era informasi ini
sangat bergantung pada pendayagunaan data dan informasi. Oleh karena itu, dunia bisnis
adalah salah satu wilayah aplikasi Big Data.
Hal pertama ketika kita ditanyakan tentang perusahaan apa saja yang menggunakan
Big Data, maka sebagian besar kita akan menjawab perusahaan web service. Sebagai contoh,
google menggunakan akumulasi data dalam skala yang sangat besar untuk melakukan bisnis
iklan. Selain itu dalam dunia sns, facebook pun menggunakan data anggotanya yang sangat
besar sebagai dasar untuk meningkatkan keuntungan dari iklan, permainan game dan
penjualan software. Bahkan EC (electronic commerce) shop/ toko komersial elektronik seperti
amazon, rakuten pun menggunakan data keanggotaannya, sejarah pembelian, click stream
(perilaku pengunjung dalam situs) dan data lainnya sebagai bahan untuk membuat
rekomendasi yang sesuai dengan keingingan setiap anggota. Dengan memberikan informasi
tersebut diharapkan dapat memperkuat keinginan para pengunjungnya untuk berbelanja.
Salah satu perusahaan Web mengatakan jika mereka tidak menggunakan EC shop
sebagai salah satu cara berbisnis apakah mereka memiliki hubungan dengan big data?
Aplikasi big data tidak terbatas untuk perusahaan web maupun EC saja. Sebagai contoh ada
perusahaan telekomunikasi menganalisis log komunikasi untuk mencari tahu ke provider
manakah yang paling banyak mendapat arah tujuan ketika menelpon dan mengirim surat
melalui email dan sms. Dengan demikian perusahaan/provider tersebut mampu mencegah
bahaya akan pindahnya kostumer dengan cara memberikan penawaran khusus secara
terpisah, maupun melakukan promo baru untuk mengundang teman agar mau masuk provider
yang sama. Kemudian mungkin akan timbul anggapan bahwa perusahaan web dan
perusahaan telekomunikasi menggunankan data dan informasi secara digital, makanya
mudah, sedangkan bagaimanakah dengan perusahaan yang informasi dan datanya tidak
berbentuk digital?
Kalau coba kita lihat contoh lainnya, saat ini perusahaan asuransi dijepang
mengumpulkan informasi tentang perilaku mengemudi kliennya dengan memonitor gps pada
carnavi milik setiap klien. Dari pengumpulan informasi ini tidak hanya data tentang umur, jarak
tempuh, jenis perizinan saja yang didapat, namun dengan mengetahui keadaan mengemudi
setiap kliennya, perusahaan asuransi tersebut mampu menganalisis resiko setiap kliennya dan
memastikan margin harga yang sesuai. Hal ini sama dengan ketika perusahaan kartu kredit
menganalisis tempat pelanggan menggunakan kartu kredit dan penggunaan dengan
smartphone sehingga dapat dideteksi apakah terjadi penyalahgunaan atau tidak.
Apakah perusahaan selain perusahaan financial dan perusahaan servis seperti halnya
perusahaan yang langsung menjual barang nyata pun dapat menjadi pengguna big data?
Sebagai mana kita ketahui perusahaan manapun yang terdapat kegiatan penjualan dan
memiliki pelanggan maka pasti membutuhkan feedback dan informasi tentang needs dari para
pelanggannya. Disinilah analisis big data memegang peranan yang menentukan bagi
kemajuan perusahaan.
Penggunaan big data juga dapat diaplikasikan pada perusahaan infrastruktur maupun
industri primer. Sebagai contoh dengan menggabungkan sensor yang dipasang di jalan raya
dengan data yang dikumpulkan dari GPS yang telah terpasang pada mobil maka dapat
diketahui kodisi kepadatan lalu lintas. Bahkan dengan menggabungkannya dengan sistem
traffic light, dipastikan akan dapat mempercepat waktu tempuh suatu perjalanan sehingga
mampu mengurangi pengeluaran gas CO2. Dalam industri primer yang dikatakan tertinggal
dengan IT sekalipun dapat menjadi lebih efektif dalam segi operasionalnya. Sebagai contoh
dengan pemasangan sensor cuaca pada ladang pertanian para pelaku industri primer dapat
menggabungkan data cuaca dengan data penghasilan maupun kualitas produk yang
dihasilkan sehinnga dapat dicari cara yang lebih efektif agar mampu meningkatkan kualitas
produknya untuk mendapatkan keuntungan yang lebih..
Hasil yang didapat dari pengaplikasian Big Data merupakan bentuk dari sebuah
knowhow dan strategi bisnis. Yang semestinya menjadi PR yang perlu dipikirkan oleh para
pelaku bisnis saat ini.
Dengan demikian, dapat dipahami bahwa big data memiliki wilayah aplikasi yang
sangat luas. Penggunaan big data yang terbatas hanya pada bisnis web service dan SNS saja
merupakan pemikiran yang tidak tepat.
Penggunaan big data mampu membuat kita untuk melihat lagi apa saja data yang kita
miliki, apakah ada data yang terlantar atau terabaikan, kemudian kita dapat mengoptimalkan
sumber data yang kita miliki. Namun demikian, bukan berarti dengan menggunakan big data
segalanya akan berjalan dengan baik. Meski telah menganalis data dan mengetahui barang
yang akan dijual sekalipun, jika tidak didistribusikan maka akan sama saja menyia-nyiakan
modal berharga yang kita punya. Begitu pula apabila biaya menganalisis data jauh diatas
keuntungan.
2. TEKNOLOGI BIG DATA
Big Data bukanlah sebuah teknologi, teknik, maupun inisiatif yang berdiri sendiri. Big
Data adalah suatu trend yang mencakup area yang luas dalam dunia bisnis dan teknologi. Big
Data menunjuk pada teknologi dan inisiatif yang melibatkan data yang begitu beragam, cepat
berubah, atau berukuran super besar sehingga terlalu sulit bagi teknologi, keahlian, maupun
infrastruktur konvensional untuk dapat menanganinya secara efektif. Dengan kata lain, Big
Data memiliki ukuran (volume), kecepatan (velocity), atau ragam (variety) yang terlalu ekstrim
untuk dikelola dengan teknik konvensional.
Big Data melibatkan proses pembuatan data, penyimpanan, penggalian informasi, dan
analisis yang menonjol dalam hal volume, velocity, dan variety.
A. Volume (Ukuran).
Pada tahun 2000 lalu, PC biasa pada umumnya memiliki kapasitas penyimpanan sekitar
10 gigabytes. Saat ini, Facebook menyedot sekitar 500 terabytes data baru setiap harinya;
sebuah pesawat Boeing 737 menghasilkan sekitar 240 terabytes data penerbangan
dalam satu penerbangan melintasi Amerika; makin menjamurnya penggunaan ponsel
pintar (smartphone), bertambahnya sensor-sensor yang disertakan pada perangkat
harian, akan terus mengalirkan jutaan data-data baru, yang terus ter-update, yang
mencakup data-data yang berhubungan dengan lingkungan, lokasi, cuaca, video bahkan
data tentang suasana hati si pengguna ponsel pintar.
B. Velocity (kecepatan).
Clickstreams maupun ad impressions mencatat perilaku pengguna Internet dalam jutaan
event per detik; algoritma jual-beli saham dalam frekwensi tinggi dapat mencerminkan
perubahan pasar dalam hitungan microseconds; proses-proses yang melibatkan
hubungan antara suatu mesin dengan mesin lainnya telah melibatkan pertukaran data
antar jutaan perangkat; peralatan sensor dan perangkat-perangkat pada infrastruktur
menghasilkan log data secara real time; sistem game online dapat melayani jutaan
pengguna secara bersamaan, yang masing-masing memberikan sejumlah input per
detiknya.
C. Variety (ragam).
Big Data tidak hanya menyangkut data yang berupa angka-angka, data tanggal, dan
rangkaian teks. Big Data juga meliputi data-data ruang / geospatial, data 3D, audio dan
video, dan data-data teks tak berstruktur termasuk file-file log dan media sosial. Sistem
database tradisional didesain untuk menangani data-data berstruktur, yang tak terlalu
sering mengalami update atau updatenya dapat diprediksi, serta memiliki struktur data
yang konsisten yang volumenya tak pernah sebesar Big Data. Selain itu, sistem database
tradisional juga didesain untuk digunakan dalam satu server yang berdiri sendiri, yang
berakibat pada keterbatasan dan mahalnya biaya untuk peningkatan kapasitas,
sedangkan aplikasi sudah dituntut untuk mampu melayani pengguna dalam jumlah yang
jauh lebih besar dari yang pernah ada sebelumnya. Dalam hal ini, database Big Data
seperti halnya MongoDB maupun HBase, dapat memberikan solusi yang feasible yang
memungkinkan peningkatan profit perusahaan secara signifikan.
Gambar 1 : menggambarkan 3(tiga) karakteristik Big Data.
Gabungan dari ketiga karakteristik ini menghasilkan data yang terlalu kompleks untuk ditangani
dengan sistem konvensional. Singkatnya, Big Data menggambarkan kumpulan data yang begitu
besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software
tradisional.
2.1. Jenis Teknologi Big Data
Dalam hal Teknologi, bentangan Big Data didominasi oleh dua jenis teknologi Big Data
yaitu: (1) Big Data operasional: sistem yang memiliki kapabilitas operasional untuk pekerjaanpekerjaan bersifat interaktif dan real time dimana data pada umumnya diserap dan disimpan; (2)
Big Data analitis: sistem yang menyediakan kapabilitas analitis untuk mengerjakan analisis yang
kompleks dan retrospektif yang dapat melibatkan sebagian besar atau bahkan keseluruhan data.
Dalam keberadaannya, kedua jenis teknologi Big Data ini bersifat saling melengkapi dan sering
digunakan secara bersamaan.
Beban kerja operasional dan analitis terhadap Big Data telah menyebabkan kebutuhan
sistem yang berlawanan satu sama lain, dan sistem Big Data saat ini telah berevolusi untuk
menangani kedua jenis kerja tersebut secara khusus, terpisah, dan dengan cara yang sangat
berbeda. Baik kebutuhan kerja operasional maupun analitis untuk Big Data, masing-masing telah
mendorong penciptaan arsitektur-arsitektur teknologi baru. Sistem operasional, seperti halnya
NoSQL database, berfokus pada pelayanan terhadap permintaan akses yang tinggi yang terjadi
dalam waktu bersamaan, dengan tetap memberikan respon yang seketika (low latency) terhadap
permintaan akses tersebut. Akses data terhadap sistem operasional ini dapat dilakukan dengan
berbagai pilihan kriteria. Dilain pihak, sistem analitis cenderung berfokus pada penanganan arus
data yang lebih besar, query-query yang ditujukan pada data tersebut bisa sangat kompleks, dan
setiap kali dieksekusi dapat melibatkan sebagian besar atau keseluruhan data yang ada dalam
sistem. Baik sistem Big Data operasional maupun sistem Big Data analitis, kedua-duanya
dioperasikan dengan melibatkan sejumlah servers yang tergabung dalam suatu cluster komputer,
dan digunakan untuk mengelola puluhan atau ratusan terabytes data yang memuat miliaran
record.
2.1.1. Teknologi Big Data Operasional
Untuk menangani pekerjaan-pekerjaan Big Data Operasional, telah dibangun sistem Big
Data dengan database NoSQL seperti halnya database berbasis dokumen (document
based database) yang dapat ditujukan untuk berbagai tipe aplikasi, database key-value
stores, column family stores, dan database graph yang dioptimalkan untuk aplikasi yang
lebih spesifik. Teknologi NoSQL, yang telah dikembangkan untuk mengatasi kekurangan
dari database relasional (relational database) pada lingkungan komputasi modern, dikenal
lebih cepat serta lebih mudah dan murah dalam hal peningkatan skala (more scalable)
dibanding relational databases.
Sistem Big Data dengan database NoSQL telah didesain untuk memanfaatkan
keunggulan dari arsitektur cloud computing (komputasi awan) yang telah muncul dalam
dekade terakhir ini. Hal ini memungkinkan dijalankannya komputasi berskala besar secara
efisien dan dengan biaya yang relatif lebih murah. Sebagai hasilnya, sistem NoSQL
dengan komputasi awan ini telah menjadikan perangkat kerja Big Data operasional lebih
mudah dikelola, serta dapat diimplementasikan dengan lebih murah dan cepat.
2.1.2. Teknologi Big Data Analitis
Pekerjaan-pekerjaan Big Data analitis cenderung diproses dengan mengimplementasikan
sistem database MPP dan MapReduce. Munculnya teknologi ini juga merupakan reaksi
terhadap keterbatasan dan kurangnya kemampuan relational database tradisional untuk
mengelola database dalam skala lebih dari satu server (terdistribusi). Disamping itu,
MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat
berfungsi sebagai pelengkap terhadap kapabilitas SQL.
Dengan semakin populernya penggunaan berbagai jenis aplikasi dan para penggunanya
terus menerus memproduksi data dari pemakaian aplikasi tersebut, terdapat sejumlah
upaya analisa retrospektif yang benar-benar dapat memberikan nilai berarti terhadap
kemajuan bisnis. Ketika upaya-upaya tersebut mesti melibatkan algoritma yang lebih
rumit, MapReduce telah menjadi pilihan pertama untuk melakukan analisa retrospektif
tersebut. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang
memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain,
data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop
dengan MapReduce-nya.
3. IMPLEMENTASI BIG DATA
Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan.
Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja
secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang
produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter
sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana
menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan
illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku
konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang
transaksi kartu kredit dapat dikategorikan sebagai Big Data.
Untuk menyimpan dan mengolah data dalam jumlah besar diperlukan waktu dan biaya
yang besar. Untuk memberdayakan berbagai jenis / variasi data diperlukan prosedur yang
sesuai dengan tiap jenis data tersebut. Terakhir, untuk memanfaatkan data yang terus
menerus diproduksi dengan kecepatan tertentu, diperlukan kecepatan dalam mengolah data
untuk memenuhi target yang ditentukan. Ketiga karakteristik ini menggambarkan betapa
sulitnya menangani dan memanfaatkan Big Data. Jadi kalau disederhanakan, Big Data itu
adalah data yang besar dalam volume, kumpulan dari berbagai jenis data, dan diproduksi
dengan kecepatan tertentu.
Dalam hal volume, telah terjadi peningkatan yang drastis sejak sekitar tahun 2000
sehingga kemudian muncul istilah Ledakan Informasi. Berdasarkan laporan yang dilansir oleh
IDC (International Data Corporation). "2011 Digital Universe Study: Extracting Value from
Chaos", diperkirakan bahwa pada 5(lima) tahun kedepan, volume data yang dihasilkan pertahun akan meningkat menjadi 6 kali lipat. Pada tahun 2005, terdapat 130 Exabytes data dan
menjadi 1,2 Zettabytes pada 2010. Pada tahun 2015, diperkirakan akan meledak menjadi 7,9
Zettabytes. Sekedar referensi, 1 Zettabyte kurang lebih sama dengan data dalam 200 miliar
keping DVD. Latar belakang dari membludaknya volume data ini adalah proses komputerisasi
yang telah semakin merasuk ke dalam segala aspek kehidupan manusia. Mulai dari PC
(Personal Computer), smartphone, ATM, komputer kantor swasta, komputer kantor
pemerintah hingga kamera jalan raya milik POLRI maupun Kemenhub.
Dalam hal jenis, data sudah tidak lagi hanya berupa lembaran data seperti halnya data
yang ditampilkan dengan MS Excel, MS Access, ataupun software pengolah data lain yang
menyimpan teks dan angka dalam suatu format tertentu. Data saat ini bisa berupa teks data
yang dimuat pada website, blog, social network seperti halnya Facebook dan Twitter, yang
tidak memiliki format yang ditentukan sebelumnya. Data bisa berupa music maupun video
digital yang didistribusikan dan diakses melalui internet dan terus bertambah.
Dalam hal kecepatan, data dihasilkan bukan lagi dalam hitungan hari, dan umur
berlakunya data pun menjadi lebih pendek. Sebagai contoh, laporan hasil analisa transaksi
jual-beli yang sebelumnya dilakukan per-bulan atau perminggu kini dilakukan per-hari bahkan
per-jam. Dengan demikian, masa berlaku data hasil analisa pun bukan lagi dalam hitungan
bulan tapi hanya berlaku dalam satu jam. Bahkan, tidak sedikit proses pengolahan, analisa,
dan pendistribusian data yang telah bisa dilakukan secara real-time.
1.1. Penerapan Big Data dengan Hadoop
Kini teknologi untuk mengolah Big Data, Hadoop Mapreduce, sudah di depan
mata. Selanjutnya bergantung pada keberanian kita untuk mau memberdayakannya atau
tidak. Hadoop MapReduce memiliki banyak keunggulan, diantaranya:
a. Sederhana.
Walaupun Hadoop MapReduce adalah software yang mengolah data secara
terdistribusi dan paralel, kita tidak diwajibkan untuk mengerti dan paham apa itu
distributed computing.
b. Fleksibel dalam Ukuran.
Hadoop dapat dijalankan mulai dari satu hingga ribuan PC. Jadi, dapat dimulai dengan
ukuran kecil dulu atau sesuai kebutuhan. Bila ingin meningkatkan kemampuannya,
cukup tambah jumlah PC tanpa harus mengubah setting dari awal. Bandingkan kalau
kita menggunakan system konvensional. Pada saat komputer kita sudah tidak mampu
lagi mengolah data yang semakin besar, atau ketika teknologi komputer yang kita
pakai sudah mulai ketinggalan jaman, tentu kita harus membeli komputer baru yang
memiliki kemampuan yang lebih tinggi, atau meng-upgrade komputer yang sudah ada.
Itu berarti kita harus menginstal system baru mulai dari awal, kemudian memindahkan
data dari komputer lama ke komputer baru, dan melakukan setting ulang agar dapat
berjalan seperti sebelumnya. Bila kita menggunakan Hadoop, kita tak perlu
memindahkan data dan melakukan setting ulang, cukup dengan menambahkan satu
komputer lagi, maka secara otomatis data akan terdistribusi ke komputer yang baru.
Hadoop itu fleksibel, bisa dijalankan dalam 3(tiga) mode yaitu:
1. Mode Standalone : dengan satu PC Windows;
2. Mode Pseudo-Distributed: dengan satu PC Linux yang dibuat seolah-olah Hadoop
berjalan dalam system yang terdistribusi;
3. Mode Fully Distributed: menjalankan Hadoop sungguhan dalam beberapa PC.
c. Handal, anti Gagal.
Ketika kita bicara tentang pengolahan data yang dilakukan secara paralel dalam
banyak komputer, tentu akan timbul pertanyaan: Bagaimana kalau salah satu dari
komputer itu down atau rusak dan tak dapat beroperasi? Bukankah ini akan
menyebabkan seluruh proses akan gagal karena kehilangan salah satu bagiannya.
Tidak demikian dengan Hadoop, walaupun dalam suatu proses pengolahan data
terdapat komputer yang tiba-tiba rusak, Hadoop tetap dapat berjalan normal.
1.2. Penerapan Big Data oleh Google
Google berasal dari sebuah proyek penelitian yang dimulai pada Januari 1996 oleh
dua mahasiswa pasca sarjana, Larry Page dan Sergey Brin, di Stanford University. Saat
ini Google telah berkembang menjadi raksasa Internet yang sangat pintar, yang telah
menjadi guru tempat bertanya apa saja di dunia maya Internet. Boleh dikatakan terlalu
naif bila ada pengguna Internet yang mengaku tidak tahu Google. Google telah menjadi
bagian hidup para penjelajah dunia maya. Menjadi milik semuanya dan memiliki
semuanya.
Pada awal kelahirannya, Google dibekali dengan teknologi yang disebut
PageRank yang telah menjadikannya search engine yang unik karena teknologi tersebut
belum pernah dimiliki oleh search engine yang telah ada sebelum Google.
Namun, bukan hanya itu. Google juga telah mampu mengelola, memanfaatkan,
dan memberdayakan limpahan data yang membludak pada era Ledakan Informasi ini.
Google bahkan telah mampu mengolah dan memberdayakan keberadaan Big Data jauh
sebelum istilah itu diperbincangkan banyak orang. Google memiliki teknologi crawler yang
mampu mendownload seluruh web page yang ada di dunia Internet secara terus menerus
mengikuti update pada jutaan web page tersebut. Google memiliki media penyimpanan
data yang dikenal dengan nama Google File System (GFS) yang menyimpan data secara
terdistribusi dalam ribuan komputer. Kapasitas penyimpanan GFS ini bisa terus
diperbesar hanya dengan menambah jumlah komputer yang disertakan didalamnya.
Google memiliki teknologi pengolahan data yang disebut MapReduce, yang mampu
mengolah data yang disimpan dalam GFS secara paralel menggunakan ribuan komputer
sehingga mampu mengolah data ukuran raksasa dalam waktu berkali lipat lebih cepat
daripada system konvensional. Google juga memiliki system database yang disebut
Bigtable, yang mampu menyajikan data berukuran raksasa yang sudah tak mampu lagi
ditangani oleh system database yang telah ada. Dan masih banyak lagi. Jadi, intinya,
Google telah mampu melihat potensi pada Big Data, kemudian mengolah dan
memberdayakannya jauh sebelum istilah Big Data mulai diperbincangkan.
Google itu hebat dan kaya, dan untungnya dia juga tidak pelit. Google telah
membuka akses terhadap teknologi garapannya kepada masyarakat internasional.
Google telah memaparkan konsep dan cara kerja GFS, MapReduce, dan Bigtable secara
detail dan dapat diakses dengan cuma-cuma. Hal ini telah berhasil membuka mata para
raksasa Internet pada dunia yang lebih besar.
Apache bertindak cepat dengan mengembangkan dan merilis versi open source
dari Google File System yang diberi nama Hadoop Distributed File System (HDFS) dan
juga versi open source dari MapReduce yang dibuat satu paket dengan HDFS.
4. KESIMPULAN
Saat ini kita sedang berada dalam era Ledakan Informasi, dan kemampuan untuk
memberdayakan Big Data adalah kunci dalam meraih sukses dan kemenangan. Google telah
menyadarinya lebih dulu, dan sukses Google adalah bukti nyata. Hadoop MapReduce, senjata
dalam perang Big Data telah di depan mata, para raksasa sudah mulai bergerak, apakah kita
akan tinggal diam?
Terdapat 2 (dua) type teknologi untuk memberdayakan Big data, yaitu:
(1) teknologi untuk memproses Big Data demi kebutuhan operasional, yakni: database NoSQL
(MongoDB, HBase, dll), dan;
(2) teknologi untuk memproses Big Data guna kebutuhan analitis seperti halnya Hadoop. Dengan
mengimplementasikan kedua type teknologi Big Data ini, akan memungkinkan didapatkannya
nilai-nilai baru yang dapat memberikan manfaat pada operasional perusahaan berupa
penghematan pengeluaran, peningkatan keuntungan, dan pencapaian sasaran-sasaran bisnis
lainnya.
Big Data bukan hanya masalah ukuran yang besar, terlebih yang menjadi ciri khasnya adalah
jenis datanya yang sangat beragam dan laju pertumbuhan maupun frekwensi perubahannya yang
tinggi. Dalam hal ragam data, Big Data tidak hanya terdiri dari data berstruktur seperti halnya data
angka-angka maupun deretan huruf-huruf yang berasal dari sistem database mendasar seperti
halnya sistem database keuangan, tetapi juga terdiri atas data multimedia seperti data teks, data
suara dan video yang dikenal dengan istilah data tak berstruktur. Terlebih lagi, Big Data juga
mencakup data setengah berstruktur seperti halnya data e-mail maupun XML. Dalam hal
kecepatan pertumbuhan maupun frekwensi perubahannya, Big Data mencakup data-data yang
berasal dari berbagai jenis sensor, mesin-mesin, maupun data log komunikasi yang terus
menerus mengalir. Bahkan, juga mencakup data-data yang tak hanya data yang berada di
internal perusahaan, tetapi juga data-data di luar perusahaan seperti data-data di Internet. Begitu
beragamnya jenis data yang dicakup dalam Big Data inilah yang kiranya dapat dijadikan patokan
untuk membedakan Big Data dengan sistem manajemen data pada umumnya.
5. `REFERENSI
a.
http://www.gartner.com/newsroom/id/1731916
b.
http://japan.emc.com/collateral/analyst-reports/idc-extracting-value-from-chaos-ar.pdf
c.
http://www.hjo3.net/bytes.html
d.
http://hadoop.apache.org/
e.
http://en.wikipedia.org/wiki/Apache_Hadoop
f.
http://en.wikipedia.org/wiki/Google#History
g.
"Hadoop: The Definitive Guide", Tom White, O'REILLY 2012.
h.
Artikel Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing
Volumes of Data.