Analisis Performansi Hadoop Cluster Mult
Analisis Performansi Hadoop Cluster Multi Node pada Komputasi Dokumen
Delis Permatasari1)
delisper@gmail.com
1) 3)
Mohammad Dani, M.T.2)
mohamad.dani@gmail.com
Mia Rosmiati, S.Si., M.T.3)
m14_r@yahoo.co.id
Program Studi Teknik Komputer Peminatan Teknik Jaringan Politeknik Telkom Bandung
2)
Teknik Elektro Universitas Kebangsaan Bandung
ABSTRAK
Pengimplementasian sebuah aplikasi cluster merupakan salah satu cara dalam proses pendistribusian data,
karena akan berdampak positif dalam peningkatan proses kinerja dan pengembangan sistem untuk pengolahan data
tersebut. Semakin berkembangnya dunia teknologi , dimana pertumbuhan data yang sangat cepat dan semakin lama
semakin besar. Hal ini memungkinkan suatu strategi khusus untuk menyiasati cara pengolahan data yang besar dengan
cepat, akurat dan efisien.
Untuk mengatasi permasalahan diatas, Apache Hadoop menerapkan komputasi paralel dengan
menggunakan aplikasi terdistribusi, yang dirancang secara efisien mendisitribusikan sejumlah pekerjaan besar dalam
mesin cluster. Apache Hadoop menggembangkan beberapa project diantaranya Hadoop Distribution File System
(HDFS) dan MapReduce framework untuk menyelesaikan pengolahan data.yang besar berbasis java dan open
source.
Aplikasi Hadoop juga dapat digunakan untuk menghitung pembobotan dokumen dan menganalisis proses yang
sedang berjalan di sistem tersebut. Tujuan proyek akhir ini diharapkan dengan bertambahnya jumlah node dan perubahan
parameter dapat meningkatkan kinerja cluster dalam menyelesaikan suatu proses.
Kata Kunci : Hadoop, Cluster, MapReduce, HDFS, Komputasi Paralel
1. Pendahuluan
1.1 Latar Belakang
Semakin berkembangnya dunia teknologi, dimana
pertumbuhan data yang sangat cepat dan semakin
lama semakin besar. Hal ini memungkinkan suatu
strategi khusus untuk menyiasati cara pengolahan
data yang besar dengan cepat, akurat dan efisien.
Pada kenyataanya data yang berkembang di dalam
digital-universe. Estimate data elektronik mencapai
0,18 zettabyte pada tahun 2006 dan akan diramalkan
pada tahun 2006 dan akan diramalkan tumbuh
sepuluh kali lipat mencapai 1,8 zettabyte pada tahun
2011 (White,2009). Tetapi infrastuktur dari sebuah
media penyimpanan memiliki kendala terutama
dalam kecepatan transfer, sehingga membutuhkan
waktu yang cukup lama untuk membaca keseluruhan
data.
Adakalanya aplikasi yang dibuat membutuhkan ko
mputer dengan sumber daya yang tinggi sebagai
lingkungan
yang tinggi sebagai
lingkungan
implementasi dan biasanya harga untuk komputer
dengan sumber daya yang tinggu tidaklah murah,
sedangkan untuk komputer dengan spesisfikasi yang
tidak terlalu tinggi akan kurang reliable dalam
menangani data yang begitu besar (Venner,2009).
Dengan demikian, teknologi dalam skala besar yang
berhubungan dengan peningkatan kinerja sistem
benar-benar di butuhkan.
Terinsipirasi oleh Google File System (GFS) dan
MapReduce yang dikembangkan oleh Google,
Maka Apache Hadoop menerapkan
komputasi
paralel dengan menggunakan aplikasi terdistribusi,
yang dirancang secara efisien mendisitribusikan
sejumlah pekerjaan besar dalam mesin cluster.
Apache Hadoop mengembangkan beberapa project
diantaranya Hadoop Distributed File System (HDFS)
dan MapReduce Framework untuk menyelesaikan
permasalahan dengan melibatkan data yang besar yang
berbasiskan java dan open source. Hadoop Cluster
mempunyai kelebihan dari segi ekonomi karena tidak
berbayar dan dapat diimplementasikan pada perangkat
keras dengan spesifikasi yang tidak terlalu tinggi.
Berdasarkan pemaparan diatas, proyek akhir ini akan
di rancang sistem hadoop cluster untuk melakukan
perhitungan pembobotan dokumen sistem dan
analasis proses yang sedang berjalan di sistem
tersebut. Diharapkan dengan bertambahnya jumlah
node dapat meningkatkan kinerja cluster dalam
menyelesaikan suatu proses.
1.2 Perumusan Masalah
Berdasarkan latar belakang diatas maka
rumusan masalah, yaitu:
1. Bagaimana merancang hadoop cluster
dengan sistem operasi ubuntu 10.04.
2. Bagaimana implementasi hadoop cluster
pada
komputasi
dokumen
untuk
meningkatkan
meningkatkan
kinerja
cluster?
3. Bagaimana implementasi mesin cluster agar
dapat dimanfaatkan dan digabungkan satu
sama lain sehingga dapat bekerja sama?
4. Apakah penggunaan jumlah node dan
perubahan parameter yang bekerja pada
sebuah cluster dapat berpengaruh terhadap
kinerja sistem.
1.3 Tujuan
Tujuan dari Proyek Akhir ini adalah Sebagai
berikut :
1. Membangun hadoop cluster dengan sistem
operasi ubuntu 10.04
2. Menerapkan Mapreduce dan HDFS sebagai
aplikasi terdistribusi untuk meningkatkan
kinerja cluster.
3. Menganalis performansi hadoop cluster
terhadap pengaruh jumlah node di dalam
cluster tersebut.
4. Menguji performansi dari sistem cluster
dengan menganalisis pengaruh parameter
replikasi, ukuran blok, dan kapasitas task
map terhadap pengujian HDFS dan waktu
eksekusi mapreduce pada sistem cluster.
1.4 Batasan Masalah
Untuk memfokuskan bahasan maka penulis
memberikan batasan masalah dalam Proyek Akhir ini
seperti berikut:
1. Menggunakan sistem operasi 10.04.
2. Dalam implementasi menggunakan 3 buah
server dan 1 buah client.
3. Dalam implementasi menggunakan suatu
file berbentuk dokumen.
4. Bagian dari Hadoop Framework yang digu
nakan dalam penelitian hanya MapReduce
dan HDFS.
5. Parameter konfigurasi yang diuji yaitu
jumlah node, nilai replikasi, ukuran blok,
dan kapasitas taskmap.
6. Parameter yang diukur pada pengujian
performansi yaitu waktu eksekusi untuk
melihat kinerja mapreduce dan nilai
throughput untuk pengujian HDFS.
7.
8.
9.
Tidak membahas membahas web service
dan database.
Tidak membahas sistem Security.
Tidak membahas Single point of Failure.
2. Dasar Teori
2.1 Cluster Computing
Cluster computing adalah suatu system
perangkat keras dan perangkat lunak yang
menggabungkan dan beberapa komputer dalam suatu
jaringan sehingga komputer-komputer tersebut dapat
bekerja sama dalam pemrosesan masalah (Rizvi et
al., 2010).
Cluster computing menawarkan sejumlah
manfaat lebih dari kpmputer mainframe, termasuk
(Rizvi et al., 2010):
1. Mengurangi biaya yaitu menghemat sumber
daya perangkat yang ada
2. Pengolahan
power
yaitu
kekuatan
pemrosesan paralel dari cluster
3. Peningkatan jaringan teknologi yaitu
pengembangan
cluster komputer telah
kemajuan besar dalam teknologi yang
berhubungan dengan jaringan.
4. Skalabilitas yaitu cluster cluster komputer
dapat dengan mudah diperluas sebagai
perubahan
persyaratan
dengan
menambahkan node tambahan ke jaringan.
5. Ketersediaan
yaitu
ketika
komputer
mainframe gagal, seluruh sistem gagal,
operasinya bisa dengan sederhana ditransfer
ke node lain dalam cluster ini.
2.2 Apache Hadoop
Hadoop adalah framework software berbasis java
dan open source yang berfungsi untuk mengolah data
yang sangat besar secara terdistribusi dan berjalan di
atas cluster yang terdiri atas beberapa komputer yang
saling terhubung (White, 2008). Hadoop dapat
mengolah data dalam jumlah yang sangat besar
hingga petabyte dan dijalankan diatas ribuan
komputer. Hadoop framework mengatur segala
macam proses detail sedangkan pengembang aplikasi
hanya perlu fokus pada aplikasi logiknya. (White,
2009). Hadoop bersifat open source dan berada
dibawah bendera Apache Software Foundation. Inti
dari hadoop terdiri atas :
1. HDFS (Hadoop Distributed File System)
yaitu Data yang terdistribusi.
2. MapReduce yaitu Framework dari aplikasi
yang terdistribusi.
2.2.1 Hadoop Single Node
Hadoop single node untuk sistem ini menggunakan 1
mesin. Mesin tersebut didesain menjadi master tapi
tidak bekerja juga sebagai slave. Pada mesin single
node semua proses dilakukan dalam 1 mesin. Hadoop
terbagi dua layer yaitu layer HDFS yang menjalankan
namenode dan datanode sedangkan layer MapReduce
yang menjalankan Jobtracker dan Tasktracker. Pada
kedua layer ini sangat penting aktif yaitu Namenode
dan Jobtracker, karena apabila dua bagian ada yang
tidak jalan maka kerja HDFS dan MapReduce tidak
bisa dijalankan.
Model pemrograman MapReduce membagi
proses menjadi dua tahapan, yaitu tahapan Map dan
tahapan Reduce. Map merupakan proses yang berjalan
secara parallel, sedangkan Reduce merupakan proses
penggabungan hasil dari proses map.
Gambar 2.4
Proses Mapreduce pada banyak komputer
Gambar 2.1
Hadoop Single Node
2.2.1 Hadoop Multi Node
Haddop multi node menggunakan 2 mesin, 1 untuk
mesin cluster den 1 untuk mesin slave. Kedua mesin
tersebut dikonfigurasi berupa mesin 2 single. Node
yang akan digabung menjadi satu mesin multi node
dimana satu mesin akan didesain menjadi master tapi
dapat bekerja juga menjadi slave, sednagkan mesin
yang lain akan menjadi slave.
1. Proses “Map” yaitu masternode menerima input,
kemudian input tersebut dipecah menjadi beberapa
subproblem yang kemudian didistribusikan ke worker
nodes. Worker nodes ini akan memproses
subproblem yang diterimanya untuk kemudian
apabila problem tersebut diselesaikan, maka akan
dikembalikan ke masternode.
2. Proses “Reduce” yaitu masternode menerima
jawaban dari semua subproblem dari banyak data
nodes, menggabungkan jawaban-jawaban tersebut
menjadi satu jawaban besar untuk mendapatkan
penyelesaian dari permasalahan utama, keuntungan
dari Mapreduce ini adalah proses map dan reduce
dapa dijalankan secara terdistribusi.
2.4
Gambar 2.2
Hadoop Multi Node
2.2 MapReduce
MapReduce pertama kali dikenalkan
oleh Jeffrey Dean dan Sanjay Ghemawat dari
Google,Inc. MapReduce adalah model pemograman
terdistribusi yang digunakan untuk melakukan
pengolaha data digunakan pengolahan data besar
(Ghemawat, 2004).
Hadoop Distributed File System (HDFS)
HDFS adalah filesystem yang berbasis java,
yang menyimpan file dalam jumlah besar dan disimpan
secara terdistribusi didalam banyak komputer yang
saling berhubungan (White, 2008). Pada umumnya
data replikasi kedalam 3 node yaitu dua rack yang
sama dan satu di rack yang berbeda, hal ini
bertujuan untuk menjaga realibility dari HDFS. Sistem
file membutuhkan server induk yang dinamakan
namenode, berfungsi untuk menyimpan metadata dari
dalam yang ada didalam. Data tersebut disimpan di
dalam server-server yang dinamakan datanode yang
dapat diakses dengan menggunakan protokol HTTP.
Datanode ini
bisa saling berkomunikasi satu
sama lain untuk menjaga konsistensi data
dan
memastikan proses replikasi data berjalan dengan baik.
pasangan intermediate dikelompokkan
berdasarkan key, tahap ini dinamakan tahap shuffle.
2.7
Gambar 2.5
Arsitektur HDFS
2.5
TestDFSIO
TestDFSIO adalah Aplikasi benchmark
hadoop yang berfungsi untuk menguji kinerja I / O
dari HDFS. Hal ini dilakukan dengan menggunakan
pekerjaan MapReduce sebagai cara yang nyaman
untuk membaca atau menulis file secara paralel.
Setiap file yang dibaca atau ditulis dalam tugas yang
terpisah. TestDFSIO output dari map yang digunakan
untuk mengumpulkan statistik yang berkaitan dengan
file hanya diproses.
2.6 WordCount
` Wordcount adalah aplikasi benhcmark hadoop yang
berfungsi untuk menghitung tingkat kemiripan dari
setiap kata dalam sebuah large documents.
Wordcount merupakan aplikasi penting MapReduce
karena di butuhkan dalam pemetaaan file.
Cacti
Cacti adalah salah satu software yang digunakan
untuk keperluan monitoring Cacti menyimpan semua
data/informasi yang diperlukan untuk membuat
grafik dan mengumpulkannya dengan database
MySQL. Untuk menjalankan Cacti, diperlukan
software pendukung seperti MySQL, PHP,
RRDTool, net-snmp, dan sebuah webserver yang
support PHP seperti Apache atau IIS.
2.8 Ubuntu
Ubuntu adalah sistem operasi turunan dari distro
Linux jenis Debian unstable (sid), Ubuntu merupakan
project untuk komunitas, yang bertujuan untuk
menciptakan sebuah sistem operasi beserta dengan
paket aplikasinya yang bersifat free dan open source,
karena Ubuntu mempunyai prinsip untuk selamanya
bersifat gratis (free of charge) dan tidak ada
tambahan untuk versi enterprise edition.
3
3.1
Analisis Kebutuhan Dan Perancangan
Identifikasi Kebutuhan
Adapun alur perngerjaan sebagai berikut:
Start
Pengumpulan
Dokumentasi
Perumusan
Masalah
Perancangan dan
Impelementasi
Instalasi Server
Konfigurasi
Sistem
Pengambilan
data
Analisis
Kesimpulan
Gambar 3.1
Alur Pengerjaan
Gambar 2.6
Proses WordCount dokumen
Operasi wordcount berlangsung dalalm dua tahap
Map dan Reduce
Pada fase pertama mapper tes ini tokenized dengan
kata-kata maka kita membentuk pasangan nilai kunci
dengan kata-kata di mana kunci menjadi kata itu
sendiri dan nilai '1 '
Pada tahap reduce phase dikelompokkan bersama dan
nilai-nilai untuk kunci yang sama ditambahkan.
Reduce menghasilkan output pasangan intermediate
. Sebelum memasuki tahap reduce,
End
3.2 Perancangan Sistem
3.2.1 Arsitektur Sistem
Adapun arsitektur sistem yang direncanakan
dalam proyek akhir ini adalah sebagai berikut:
Gambar 3.2
Arsitektur Sistem
Gambar 3.4
Proses kinerja Write pada HDFS
3.2.2 Skenario Pengujian MapReduce
Berikut adalah skema dari arsitektur sistem
yang telah dirancang dalam Proyek Akhir ini:
Gambar 3.5
Proses kinerja Read pada HDFS
3.2.2 Skenario Pengujian Multi node Cluster
Gambar 3.3
Proses kinerja MapReduce
3.2.2
Skenario Pengujian HDFS
Skenario Pengujian HDFS ini bertujuan untuk meli
hat performansi nilai throughput pada Hadoop
Distrubuted File System (HDFS) dari sistem cluster.
Gambar 3.6
Proses Pengujian Multi Node
4 Implementasi dan Pengujian
4.1 Implementasi
1. Pertama melakukan instalasi java pada tiap
server dengan perintah:
#apt-get install sun-java6-jdk sun-java6plugin
2. Melakukan instalasi ssh dan rsync sebaagai
aplikasi remote server.
$apt-get openssh-server
$apt-get rsync
3. Menambah alamat ip pada konfigurasi
14. jaringan
t
pada tiap host dengan perintah
15. $nano /etc/hosts
4. Sebelum melakukan instalasi, download
hadoop terlebih dahulu kemudain dapat
melakukan Instalasi Hadoop-02.02 perintah
dengan perintah :
$ cd /usr/local/
$sudo tar –xvf hadoop-0.20.2 tar.gz
$sudo chown -R padlis:hadoop hadoop-0.20.2
5. Karena hadoop berplatform aplikasi java
maka penulis menambahkan konfigurasi pada
aplikasi hadoop :
$cd /usr/local/hadoop-0.20.2/conf
$nano /hadoop-env.sh
# The java implementation to use. Required.
export
JAVA_HOME=/usr/lib/jvm/java-6sun
6. Kemudian penulis melakukan konfigurasi
hadoop untuk merubah parameter dalam
memproses dokumen.
$ cd /usr/local/hadoop-0.20.2/conf
$ nano /core-site.xml
$ nano /mapred-site.xml
$ nano /hdfs-site.xml
7. Kemudian format node dari file system
$cd /usr/local/hadoop-0.20.2
$bin/hadoop namenode -format
8. Menjalankan java proses server hadoop
$ cd /usr/local/hadoop-0.20.2
$ bin/start-dfs.sh
$ bin/mapred-dfs.sh
9. Menjalankan aplikasi Mapreduce
$ bin/hadoop dfs –ls
$ bin/hadoop dfs –copyFromLocal
/home/padlis/wt/256Mb /usr/padlis/128 MB/
10. Kemudian penulis menjalankan wordcount
$ bin/hadoop jar hadoop-*-examples.jar
wordcount/usr/padlis/256mb
/usr/test/wtcount/256r3-output
11. Menjalankan aplikasi TestDFSIO
$ hadoop jar $HADOOP_INSTALL/hadoop*-test.jar TestDFSIO -write -nrFiles 1 fileSize 128
$ hadoop jar $HADOOP_INSTALL/hadoop*-test.jar TestDFSIO -read -nrFiles 1 fileSize 128
12. Melakukan instalasi apache2
untuk
menggunakan aplikasi monitoring cacti.
$apt-get install apache2
$apt-get install cacti
13. Tampilan web interface hadoop
Gambar 4.1
Web Interface Namenode
Gambar 4.2
Web Interface JobTracker
Gambar 4.3
Web Interface Tasktracker
4.2 Hasil Pengujian
4.2.1 Pengujian pada Aplikasi WordCount
Berikut ini hasil pengujian pada aplikasi wordcount
dengan mengukur waktu per second pada proses
hadoop tersebut. Berdasarkan skenario pengujian:
Tabel 4.1
Hasil Pengujian Wordcount
Ukuran data
Pengujian 1
Pengujian 2
Pengujian 3
Pengujian 4
128 Mb
676
673
679
1043
256 Mb
1431
1428
2155
2161
3000
2000
1000
128 MB
0
256 MB
Gambar 4.4
Grafik hasil Pengujian Wordcount
Dari hasil pengujian secara keseluruhan,
bahwa ada perbedaan waktu komputasi pada
pengujian 1 sampai pengujian 4. Selisih waktu antara
jumlah file 128 MB dan 256 MB menggunakan
MapReduce mencapai 3865 detik sehingga kecepatan
komputasi dengan jumlah file yang sangat kecil yang
dibutuhkan semakin cepat.
4.2.2 Pengujian Aplikasi TestDFSIO
Tujuan Pengujian untuk menguji perfomansi dari
sistem cluster dengan mengubah parameter
berdasarkan
skenario
pengujian.
Pengujian
mengambil sampel data nilai throughput pada output
TestDFSIO.
Tabel 4.2
Tabel Pengujian TestDFSIO Write
Ukuran data
128 MB
256 MB
Pengujian 1
9.537
8.490
Pengujian 2
5.855
5.293
Pengujian 3
10.089
9.380
Pengujian 4
10.309
10.069
Tabel 4.3
Tabel Pengujian TestDFSIO Read
Ukuran data
128 Mb
256 MB
Pengujian 1
113.565
108.253
Pengujian 2
118.177
109.720
Pengujian 3
88.377
37.537
Pengujian 4
86.196
38.838
Write Evaluation
12.000
10.000
8.000
6.000
4.000
2.000
0
128 MB,
nrFiles 1
256 MB,
nrFiles 1
128 MB,
nrFiles 2
256 MB,
nrFiles 2
Gambar 4.5
Grafik hasil Pengujian proses write pada HDFS
Secara keseluruhan Performansi write pada
pengujian 1 sampai dengan pengujian 4 dengan
ukuran file 128 MB dan 256 MB terlihat mirip satu
sama lain. Semakin kecil ukuran file di proses pada
skala fisik mendekati kecenderungan yang sama.
Semakin kecil data yang akan diproses,semakin
besar nilai throughput yang diberikan. Proses write
dengan file direplikasi secara logis menghasilkan
kinerja lebih lambat. Hal itu disebabkan kenaikan
jumlah nilai throughput ketika melakukan proses
write dipengaruhi nilai replikasi yang diperkecil.
Read evaluation
120.000
100.000
80.000
60.000
40.000
20.000
0
128 MB,
nrFiles 1
256 MB,
nrFiles 1
5000
4000
3000
2000
1000
0
Single node
Multi node
128 MB,
nrFiles 2
256 MB,
nrFiles 2
Gambar 4.6
Grafik hasil pengujian proses read pada HDFS
Pada pengujian 1 sampai pengujian 4 dengan kedua
ukuran file 128 MB dan 256 MB terlihat mirip satu
sama lain dan proses read lebih cepat daripada proses
write. Performansi read file kecil (128 MB) lebih
cepat dibandingkan dengan kumpulan data besar (256
MB). Semakin kecil data yang akan diproses,
semakin besar nilai throughput yang diberikan.
Proses Read dengan file direplikasi menghasilkan
kinerja yang lebih cepat. Pada proses read walaupun
nilai replikasi 3 membuat jumlah blok lebih banyak
namun tidak terjadi perubahan. Hal ini dikarenakan
Namenode tidak membutuhkan waktu ekstra untuk
memberikan waktiu pada Datanode.
4.2.3 Perbandingan Single node dan Multi node
Berikut adalah hasil perbandingan antara Single
node dengan multi node dalam proses eksekusi data.
Table ini menunjukan bahwa ada perbandingan
antara single node dengan multi node.
:
Tabel 4.4
Perbandingan Single node dan Multi node
Ukuran
data
Blok 64 MB
128 MB
256
MB
128
MB
256
MB
Single
Node
1969
detik
4178
detik
1355
detik
4192
detik
Multi
node
676
detik
1431
detik
673
detik
1428
detik
Gambar 4.7
Grafik hasil Perbandingan single node dan multi
node
Secara Keseluruhan perbedaan waktu komputasi
wordcount pada mode single node dan mode
distribusi multi node menggunakan MapReduce
sangat terlihat karena jumlah inputan yang sangat
besar. Performansi
multi node lebih cepat di
bandingkan dengan single node. Selisih waktu antara
mode single node dan mode multi node
menggunakan MapReduce mencapai 1.521 detik
sehingga kecepatan komputasi pada mode multi node
yang dibutuhkan semakin cepat.
4.2.4 Pengujian Monitoring menggunakan Cacti
Gambar 4.8
Monitoring dengan cacti
Blok 128 mb
Gambar 4.9
Monitoring dengan cacti
Kenaikan jumlah node membuat rata2 utilitas
CPU meningkat. Peningkatan konsumsi CPU
disebabkan oleh beban proses yang dikerjakan CPU.
Hal tersebut dikarenakan ketika proses MapReduce
belangsung ada CPU mengalokasikan waktu untuk
menunggu blok data yang di proses. Karena semakin
banyaknya jumlah blok yang saling bertukar antar
node sampainya data menjadi lebih lama,
BAB 5 KESIMPULAN DAN SARAN
5.1 Kesimpulan
Berikut adalah kesimpulan dari hasil pengujian
sistem yang dibuat pada proyek akhir ini dapat :
1. Dari hasil pengujian single node dan multi
node disimpulkan adanya perubahan yang
cukup signifikan antara single node dan multi
node menggunakan MapReduce mencapai
1.521 detik sehingga kecepatan komputasi
multi node lebih cepat dibandingkan dengan
komputasi single node.
2. Faktor yang berpengaruh terhadap
kinerja i/o hdfs adalah file size dan
block size.
5.2 Saran
Berikut adalah saran yang dapat dilakukan dalam
pengembangan selanjutnya yaitu melakukan query
pencarian dokumen dengan jumlah data yang sangat
besar dan Klusterisasi dokumen yang biasanya
memerlukan jumlah sampel data yang sangat banyak
Referensi
[1] Abdurachman, Zaky. (2011). Single Node Cluster
dengan Hadoop. Jakarta Pusat: InfoLinux Media
Utama.
[2] Apache Hadoop. (2011). Retrieved Februari 10,
2012, from Apache Software Foundation.:
http://hadoop.apache.org/
[2] Fisher, M. (2003). JDBC(TM), API Tutorial and
Reference. California: Sun Microsystem. Inc.
Addison Weys.
[3] Ghemawat., J. D. (2004). MapReduce: Simplified
Data. California: Google, Inc.
[4] Komputer., W. (2011). Administrasi Jaringan
dengan Linux Ubuntu 11.4. Yogyakarta: Andi.
[5] Rizvi et al. (2010). Distributed Media Player.
New Delhi.
[5] S.Tanenbaum, A. &. (1995). Distributed Systems
Principles and Paradigms. New Jersey: Prentice
Hall.
[7] Venner, Jason. (2012). Pro Hadoop. United States
of America: Apress.
[8] White, Tom. (2009). Hadoop: The Definitive
Guide. California: 0'Reilly Media, Inc.
[9] White, Tom. (2008). HDFS Reability. California:
Cloudera Inc.
Delis Permatasari1)
delisper@gmail.com
1) 3)
Mohammad Dani, M.T.2)
mohamad.dani@gmail.com
Mia Rosmiati, S.Si., M.T.3)
m14_r@yahoo.co.id
Program Studi Teknik Komputer Peminatan Teknik Jaringan Politeknik Telkom Bandung
2)
Teknik Elektro Universitas Kebangsaan Bandung
ABSTRAK
Pengimplementasian sebuah aplikasi cluster merupakan salah satu cara dalam proses pendistribusian data,
karena akan berdampak positif dalam peningkatan proses kinerja dan pengembangan sistem untuk pengolahan data
tersebut. Semakin berkembangnya dunia teknologi , dimana pertumbuhan data yang sangat cepat dan semakin lama
semakin besar. Hal ini memungkinkan suatu strategi khusus untuk menyiasati cara pengolahan data yang besar dengan
cepat, akurat dan efisien.
Untuk mengatasi permasalahan diatas, Apache Hadoop menerapkan komputasi paralel dengan
menggunakan aplikasi terdistribusi, yang dirancang secara efisien mendisitribusikan sejumlah pekerjaan besar dalam
mesin cluster. Apache Hadoop menggembangkan beberapa project diantaranya Hadoop Distribution File System
(HDFS) dan MapReduce framework untuk menyelesaikan pengolahan data.yang besar berbasis java dan open
source.
Aplikasi Hadoop juga dapat digunakan untuk menghitung pembobotan dokumen dan menganalisis proses yang
sedang berjalan di sistem tersebut. Tujuan proyek akhir ini diharapkan dengan bertambahnya jumlah node dan perubahan
parameter dapat meningkatkan kinerja cluster dalam menyelesaikan suatu proses.
Kata Kunci : Hadoop, Cluster, MapReduce, HDFS, Komputasi Paralel
1. Pendahuluan
1.1 Latar Belakang
Semakin berkembangnya dunia teknologi, dimana
pertumbuhan data yang sangat cepat dan semakin
lama semakin besar. Hal ini memungkinkan suatu
strategi khusus untuk menyiasati cara pengolahan
data yang besar dengan cepat, akurat dan efisien.
Pada kenyataanya data yang berkembang di dalam
digital-universe. Estimate data elektronik mencapai
0,18 zettabyte pada tahun 2006 dan akan diramalkan
pada tahun 2006 dan akan diramalkan tumbuh
sepuluh kali lipat mencapai 1,8 zettabyte pada tahun
2011 (White,2009). Tetapi infrastuktur dari sebuah
media penyimpanan memiliki kendala terutama
dalam kecepatan transfer, sehingga membutuhkan
waktu yang cukup lama untuk membaca keseluruhan
data.
Adakalanya aplikasi yang dibuat membutuhkan ko
mputer dengan sumber daya yang tinggi sebagai
lingkungan
yang tinggi sebagai
lingkungan
implementasi dan biasanya harga untuk komputer
dengan sumber daya yang tinggu tidaklah murah,
sedangkan untuk komputer dengan spesisfikasi yang
tidak terlalu tinggi akan kurang reliable dalam
menangani data yang begitu besar (Venner,2009).
Dengan demikian, teknologi dalam skala besar yang
berhubungan dengan peningkatan kinerja sistem
benar-benar di butuhkan.
Terinsipirasi oleh Google File System (GFS) dan
MapReduce yang dikembangkan oleh Google,
Maka Apache Hadoop menerapkan
komputasi
paralel dengan menggunakan aplikasi terdistribusi,
yang dirancang secara efisien mendisitribusikan
sejumlah pekerjaan besar dalam mesin cluster.
Apache Hadoop mengembangkan beberapa project
diantaranya Hadoop Distributed File System (HDFS)
dan MapReduce Framework untuk menyelesaikan
permasalahan dengan melibatkan data yang besar yang
berbasiskan java dan open source. Hadoop Cluster
mempunyai kelebihan dari segi ekonomi karena tidak
berbayar dan dapat diimplementasikan pada perangkat
keras dengan spesifikasi yang tidak terlalu tinggi.
Berdasarkan pemaparan diatas, proyek akhir ini akan
di rancang sistem hadoop cluster untuk melakukan
perhitungan pembobotan dokumen sistem dan
analasis proses yang sedang berjalan di sistem
tersebut. Diharapkan dengan bertambahnya jumlah
node dapat meningkatkan kinerja cluster dalam
menyelesaikan suatu proses.
1.2 Perumusan Masalah
Berdasarkan latar belakang diatas maka
rumusan masalah, yaitu:
1. Bagaimana merancang hadoop cluster
dengan sistem operasi ubuntu 10.04.
2. Bagaimana implementasi hadoop cluster
pada
komputasi
dokumen
untuk
meningkatkan
meningkatkan
kinerja
cluster?
3. Bagaimana implementasi mesin cluster agar
dapat dimanfaatkan dan digabungkan satu
sama lain sehingga dapat bekerja sama?
4. Apakah penggunaan jumlah node dan
perubahan parameter yang bekerja pada
sebuah cluster dapat berpengaruh terhadap
kinerja sistem.
1.3 Tujuan
Tujuan dari Proyek Akhir ini adalah Sebagai
berikut :
1. Membangun hadoop cluster dengan sistem
operasi ubuntu 10.04
2. Menerapkan Mapreduce dan HDFS sebagai
aplikasi terdistribusi untuk meningkatkan
kinerja cluster.
3. Menganalis performansi hadoop cluster
terhadap pengaruh jumlah node di dalam
cluster tersebut.
4. Menguji performansi dari sistem cluster
dengan menganalisis pengaruh parameter
replikasi, ukuran blok, dan kapasitas task
map terhadap pengujian HDFS dan waktu
eksekusi mapreduce pada sistem cluster.
1.4 Batasan Masalah
Untuk memfokuskan bahasan maka penulis
memberikan batasan masalah dalam Proyek Akhir ini
seperti berikut:
1. Menggunakan sistem operasi 10.04.
2. Dalam implementasi menggunakan 3 buah
server dan 1 buah client.
3. Dalam implementasi menggunakan suatu
file berbentuk dokumen.
4. Bagian dari Hadoop Framework yang digu
nakan dalam penelitian hanya MapReduce
dan HDFS.
5. Parameter konfigurasi yang diuji yaitu
jumlah node, nilai replikasi, ukuran blok,
dan kapasitas taskmap.
6. Parameter yang diukur pada pengujian
performansi yaitu waktu eksekusi untuk
melihat kinerja mapreduce dan nilai
throughput untuk pengujian HDFS.
7.
8.
9.
Tidak membahas membahas web service
dan database.
Tidak membahas sistem Security.
Tidak membahas Single point of Failure.
2. Dasar Teori
2.1 Cluster Computing
Cluster computing adalah suatu system
perangkat keras dan perangkat lunak yang
menggabungkan dan beberapa komputer dalam suatu
jaringan sehingga komputer-komputer tersebut dapat
bekerja sama dalam pemrosesan masalah (Rizvi et
al., 2010).
Cluster computing menawarkan sejumlah
manfaat lebih dari kpmputer mainframe, termasuk
(Rizvi et al., 2010):
1. Mengurangi biaya yaitu menghemat sumber
daya perangkat yang ada
2. Pengolahan
power
yaitu
kekuatan
pemrosesan paralel dari cluster
3. Peningkatan jaringan teknologi yaitu
pengembangan
cluster komputer telah
kemajuan besar dalam teknologi yang
berhubungan dengan jaringan.
4. Skalabilitas yaitu cluster cluster komputer
dapat dengan mudah diperluas sebagai
perubahan
persyaratan
dengan
menambahkan node tambahan ke jaringan.
5. Ketersediaan
yaitu
ketika
komputer
mainframe gagal, seluruh sistem gagal,
operasinya bisa dengan sederhana ditransfer
ke node lain dalam cluster ini.
2.2 Apache Hadoop
Hadoop adalah framework software berbasis java
dan open source yang berfungsi untuk mengolah data
yang sangat besar secara terdistribusi dan berjalan di
atas cluster yang terdiri atas beberapa komputer yang
saling terhubung (White, 2008). Hadoop dapat
mengolah data dalam jumlah yang sangat besar
hingga petabyte dan dijalankan diatas ribuan
komputer. Hadoop framework mengatur segala
macam proses detail sedangkan pengembang aplikasi
hanya perlu fokus pada aplikasi logiknya. (White,
2009). Hadoop bersifat open source dan berada
dibawah bendera Apache Software Foundation. Inti
dari hadoop terdiri atas :
1. HDFS (Hadoop Distributed File System)
yaitu Data yang terdistribusi.
2. MapReduce yaitu Framework dari aplikasi
yang terdistribusi.
2.2.1 Hadoop Single Node
Hadoop single node untuk sistem ini menggunakan 1
mesin. Mesin tersebut didesain menjadi master tapi
tidak bekerja juga sebagai slave. Pada mesin single
node semua proses dilakukan dalam 1 mesin. Hadoop
terbagi dua layer yaitu layer HDFS yang menjalankan
namenode dan datanode sedangkan layer MapReduce
yang menjalankan Jobtracker dan Tasktracker. Pada
kedua layer ini sangat penting aktif yaitu Namenode
dan Jobtracker, karena apabila dua bagian ada yang
tidak jalan maka kerja HDFS dan MapReduce tidak
bisa dijalankan.
Model pemrograman MapReduce membagi
proses menjadi dua tahapan, yaitu tahapan Map dan
tahapan Reduce. Map merupakan proses yang berjalan
secara parallel, sedangkan Reduce merupakan proses
penggabungan hasil dari proses map.
Gambar 2.4
Proses Mapreduce pada banyak komputer
Gambar 2.1
Hadoop Single Node
2.2.1 Hadoop Multi Node
Haddop multi node menggunakan 2 mesin, 1 untuk
mesin cluster den 1 untuk mesin slave. Kedua mesin
tersebut dikonfigurasi berupa mesin 2 single. Node
yang akan digabung menjadi satu mesin multi node
dimana satu mesin akan didesain menjadi master tapi
dapat bekerja juga menjadi slave, sednagkan mesin
yang lain akan menjadi slave.
1. Proses “Map” yaitu masternode menerima input,
kemudian input tersebut dipecah menjadi beberapa
subproblem yang kemudian didistribusikan ke worker
nodes. Worker nodes ini akan memproses
subproblem yang diterimanya untuk kemudian
apabila problem tersebut diselesaikan, maka akan
dikembalikan ke masternode.
2. Proses “Reduce” yaitu masternode menerima
jawaban dari semua subproblem dari banyak data
nodes, menggabungkan jawaban-jawaban tersebut
menjadi satu jawaban besar untuk mendapatkan
penyelesaian dari permasalahan utama, keuntungan
dari Mapreduce ini adalah proses map dan reduce
dapa dijalankan secara terdistribusi.
2.4
Gambar 2.2
Hadoop Multi Node
2.2 MapReduce
MapReduce pertama kali dikenalkan
oleh Jeffrey Dean dan Sanjay Ghemawat dari
Google,Inc. MapReduce adalah model pemograman
terdistribusi yang digunakan untuk melakukan
pengolaha data digunakan pengolahan data besar
(Ghemawat, 2004).
Hadoop Distributed File System (HDFS)
HDFS adalah filesystem yang berbasis java,
yang menyimpan file dalam jumlah besar dan disimpan
secara terdistribusi didalam banyak komputer yang
saling berhubungan (White, 2008). Pada umumnya
data replikasi kedalam 3 node yaitu dua rack yang
sama dan satu di rack yang berbeda, hal ini
bertujuan untuk menjaga realibility dari HDFS. Sistem
file membutuhkan server induk yang dinamakan
namenode, berfungsi untuk menyimpan metadata dari
dalam yang ada didalam. Data tersebut disimpan di
dalam server-server yang dinamakan datanode yang
dapat diakses dengan menggunakan protokol HTTP.
Datanode ini
bisa saling berkomunikasi satu
sama lain untuk menjaga konsistensi data
dan
memastikan proses replikasi data berjalan dengan baik.
pasangan intermediate dikelompokkan
berdasarkan key, tahap ini dinamakan tahap shuffle.
2.7
Gambar 2.5
Arsitektur HDFS
2.5
TestDFSIO
TestDFSIO adalah Aplikasi benchmark
hadoop yang berfungsi untuk menguji kinerja I / O
dari HDFS. Hal ini dilakukan dengan menggunakan
pekerjaan MapReduce sebagai cara yang nyaman
untuk membaca atau menulis file secara paralel.
Setiap file yang dibaca atau ditulis dalam tugas yang
terpisah. TestDFSIO output dari map yang digunakan
untuk mengumpulkan statistik yang berkaitan dengan
file hanya diproses.
2.6 WordCount
` Wordcount adalah aplikasi benhcmark hadoop yang
berfungsi untuk menghitung tingkat kemiripan dari
setiap kata dalam sebuah large documents.
Wordcount merupakan aplikasi penting MapReduce
karena di butuhkan dalam pemetaaan file.
Cacti
Cacti adalah salah satu software yang digunakan
untuk keperluan monitoring Cacti menyimpan semua
data/informasi yang diperlukan untuk membuat
grafik dan mengumpulkannya dengan database
MySQL. Untuk menjalankan Cacti, diperlukan
software pendukung seperti MySQL, PHP,
RRDTool, net-snmp, dan sebuah webserver yang
support PHP seperti Apache atau IIS.
2.8 Ubuntu
Ubuntu adalah sistem operasi turunan dari distro
Linux jenis Debian unstable (sid), Ubuntu merupakan
project untuk komunitas, yang bertujuan untuk
menciptakan sebuah sistem operasi beserta dengan
paket aplikasinya yang bersifat free dan open source,
karena Ubuntu mempunyai prinsip untuk selamanya
bersifat gratis (free of charge) dan tidak ada
tambahan untuk versi enterprise edition.
3
3.1
Analisis Kebutuhan Dan Perancangan
Identifikasi Kebutuhan
Adapun alur perngerjaan sebagai berikut:
Start
Pengumpulan
Dokumentasi
Perumusan
Masalah
Perancangan dan
Impelementasi
Instalasi Server
Konfigurasi
Sistem
Pengambilan
data
Analisis
Kesimpulan
Gambar 3.1
Alur Pengerjaan
Gambar 2.6
Proses WordCount dokumen
Operasi wordcount berlangsung dalalm dua tahap
Map dan Reduce
Pada fase pertama mapper tes ini tokenized dengan
kata-kata maka kita membentuk pasangan nilai kunci
dengan kata-kata di mana kunci menjadi kata itu
sendiri dan nilai '1 '
Pada tahap reduce phase dikelompokkan bersama dan
nilai-nilai untuk kunci yang sama ditambahkan.
Reduce menghasilkan output pasangan intermediate
. Sebelum memasuki tahap reduce,
End
3.2 Perancangan Sistem
3.2.1 Arsitektur Sistem
Adapun arsitektur sistem yang direncanakan
dalam proyek akhir ini adalah sebagai berikut:
Gambar 3.2
Arsitektur Sistem
Gambar 3.4
Proses kinerja Write pada HDFS
3.2.2 Skenario Pengujian MapReduce
Berikut adalah skema dari arsitektur sistem
yang telah dirancang dalam Proyek Akhir ini:
Gambar 3.5
Proses kinerja Read pada HDFS
3.2.2 Skenario Pengujian Multi node Cluster
Gambar 3.3
Proses kinerja MapReduce
3.2.2
Skenario Pengujian HDFS
Skenario Pengujian HDFS ini bertujuan untuk meli
hat performansi nilai throughput pada Hadoop
Distrubuted File System (HDFS) dari sistem cluster.
Gambar 3.6
Proses Pengujian Multi Node
4 Implementasi dan Pengujian
4.1 Implementasi
1. Pertama melakukan instalasi java pada tiap
server dengan perintah:
#apt-get install sun-java6-jdk sun-java6plugin
2. Melakukan instalasi ssh dan rsync sebaagai
aplikasi remote server.
$apt-get openssh-server
$apt-get rsync
3. Menambah alamat ip pada konfigurasi
14. jaringan
t
pada tiap host dengan perintah
15. $nano /etc/hosts
4. Sebelum melakukan instalasi, download
hadoop terlebih dahulu kemudain dapat
melakukan Instalasi Hadoop-02.02 perintah
dengan perintah :
$ cd /usr/local/
$sudo tar –xvf hadoop-0.20.2 tar.gz
$sudo chown -R padlis:hadoop hadoop-0.20.2
5. Karena hadoop berplatform aplikasi java
maka penulis menambahkan konfigurasi pada
aplikasi hadoop :
$cd /usr/local/hadoop-0.20.2/conf
$nano /hadoop-env.sh
# The java implementation to use. Required.
export
JAVA_HOME=/usr/lib/jvm/java-6sun
6. Kemudian penulis melakukan konfigurasi
hadoop untuk merubah parameter dalam
memproses dokumen.
$ cd /usr/local/hadoop-0.20.2/conf
$ nano /core-site.xml
$ nano /mapred-site.xml
$ nano /hdfs-site.xml
7. Kemudian format node dari file system
$cd /usr/local/hadoop-0.20.2
$bin/hadoop namenode -format
8. Menjalankan java proses server hadoop
$ cd /usr/local/hadoop-0.20.2
$ bin/start-dfs.sh
$ bin/mapred-dfs.sh
9. Menjalankan aplikasi Mapreduce
$ bin/hadoop dfs –ls
$ bin/hadoop dfs –copyFromLocal
/home/padlis/wt/256Mb /usr/padlis/128 MB/
10. Kemudian penulis menjalankan wordcount
$ bin/hadoop jar hadoop-*-examples.jar
wordcount/usr/padlis/256mb
/usr/test/wtcount/256r3-output
11. Menjalankan aplikasi TestDFSIO
$ hadoop jar $HADOOP_INSTALL/hadoop*-test.jar TestDFSIO -write -nrFiles 1 fileSize 128
$ hadoop jar $HADOOP_INSTALL/hadoop*-test.jar TestDFSIO -read -nrFiles 1 fileSize 128
12. Melakukan instalasi apache2
untuk
menggunakan aplikasi monitoring cacti.
$apt-get install apache2
$apt-get install cacti
13. Tampilan web interface hadoop
Gambar 4.1
Web Interface Namenode
Gambar 4.2
Web Interface JobTracker
Gambar 4.3
Web Interface Tasktracker
4.2 Hasil Pengujian
4.2.1 Pengujian pada Aplikasi WordCount
Berikut ini hasil pengujian pada aplikasi wordcount
dengan mengukur waktu per second pada proses
hadoop tersebut. Berdasarkan skenario pengujian:
Tabel 4.1
Hasil Pengujian Wordcount
Ukuran data
Pengujian 1
Pengujian 2
Pengujian 3
Pengujian 4
128 Mb
676
673
679
1043
256 Mb
1431
1428
2155
2161
3000
2000
1000
128 MB
0
256 MB
Gambar 4.4
Grafik hasil Pengujian Wordcount
Dari hasil pengujian secara keseluruhan,
bahwa ada perbedaan waktu komputasi pada
pengujian 1 sampai pengujian 4. Selisih waktu antara
jumlah file 128 MB dan 256 MB menggunakan
MapReduce mencapai 3865 detik sehingga kecepatan
komputasi dengan jumlah file yang sangat kecil yang
dibutuhkan semakin cepat.
4.2.2 Pengujian Aplikasi TestDFSIO
Tujuan Pengujian untuk menguji perfomansi dari
sistem cluster dengan mengubah parameter
berdasarkan
skenario
pengujian.
Pengujian
mengambil sampel data nilai throughput pada output
TestDFSIO.
Tabel 4.2
Tabel Pengujian TestDFSIO Write
Ukuran data
128 MB
256 MB
Pengujian 1
9.537
8.490
Pengujian 2
5.855
5.293
Pengujian 3
10.089
9.380
Pengujian 4
10.309
10.069
Tabel 4.3
Tabel Pengujian TestDFSIO Read
Ukuran data
128 Mb
256 MB
Pengujian 1
113.565
108.253
Pengujian 2
118.177
109.720
Pengujian 3
88.377
37.537
Pengujian 4
86.196
38.838
Write Evaluation
12.000
10.000
8.000
6.000
4.000
2.000
0
128 MB,
nrFiles 1
256 MB,
nrFiles 1
128 MB,
nrFiles 2
256 MB,
nrFiles 2
Gambar 4.5
Grafik hasil Pengujian proses write pada HDFS
Secara keseluruhan Performansi write pada
pengujian 1 sampai dengan pengujian 4 dengan
ukuran file 128 MB dan 256 MB terlihat mirip satu
sama lain. Semakin kecil ukuran file di proses pada
skala fisik mendekati kecenderungan yang sama.
Semakin kecil data yang akan diproses,semakin
besar nilai throughput yang diberikan. Proses write
dengan file direplikasi secara logis menghasilkan
kinerja lebih lambat. Hal itu disebabkan kenaikan
jumlah nilai throughput ketika melakukan proses
write dipengaruhi nilai replikasi yang diperkecil.
Read evaluation
120.000
100.000
80.000
60.000
40.000
20.000
0
128 MB,
nrFiles 1
256 MB,
nrFiles 1
5000
4000
3000
2000
1000
0
Single node
Multi node
128 MB,
nrFiles 2
256 MB,
nrFiles 2
Gambar 4.6
Grafik hasil pengujian proses read pada HDFS
Pada pengujian 1 sampai pengujian 4 dengan kedua
ukuran file 128 MB dan 256 MB terlihat mirip satu
sama lain dan proses read lebih cepat daripada proses
write. Performansi read file kecil (128 MB) lebih
cepat dibandingkan dengan kumpulan data besar (256
MB). Semakin kecil data yang akan diproses,
semakin besar nilai throughput yang diberikan.
Proses Read dengan file direplikasi menghasilkan
kinerja yang lebih cepat. Pada proses read walaupun
nilai replikasi 3 membuat jumlah blok lebih banyak
namun tidak terjadi perubahan. Hal ini dikarenakan
Namenode tidak membutuhkan waktu ekstra untuk
memberikan waktiu pada Datanode.
4.2.3 Perbandingan Single node dan Multi node
Berikut adalah hasil perbandingan antara Single
node dengan multi node dalam proses eksekusi data.
Table ini menunjukan bahwa ada perbandingan
antara single node dengan multi node.
:
Tabel 4.4
Perbandingan Single node dan Multi node
Ukuran
data
Blok 64 MB
128 MB
256
MB
128
MB
256
MB
Single
Node
1969
detik
4178
detik
1355
detik
4192
detik
Multi
node
676
detik
1431
detik
673
detik
1428
detik
Gambar 4.7
Grafik hasil Perbandingan single node dan multi
node
Secara Keseluruhan perbedaan waktu komputasi
wordcount pada mode single node dan mode
distribusi multi node menggunakan MapReduce
sangat terlihat karena jumlah inputan yang sangat
besar. Performansi
multi node lebih cepat di
bandingkan dengan single node. Selisih waktu antara
mode single node dan mode multi node
menggunakan MapReduce mencapai 1.521 detik
sehingga kecepatan komputasi pada mode multi node
yang dibutuhkan semakin cepat.
4.2.4 Pengujian Monitoring menggunakan Cacti
Gambar 4.8
Monitoring dengan cacti
Blok 128 mb
Gambar 4.9
Monitoring dengan cacti
Kenaikan jumlah node membuat rata2 utilitas
CPU meningkat. Peningkatan konsumsi CPU
disebabkan oleh beban proses yang dikerjakan CPU.
Hal tersebut dikarenakan ketika proses MapReduce
belangsung ada CPU mengalokasikan waktu untuk
menunggu blok data yang di proses. Karena semakin
banyaknya jumlah blok yang saling bertukar antar
node sampainya data menjadi lebih lama,
BAB 5 KESIMPULAN DAN SARAN
5.1 Kesimpulan
Berikut adalah kesimpulan dari hasil pengujian
sistem yang dibuat pada proyek akhir ini dapat :
1. Dari hasil pengujian single node dan multi
node disimpulkan adanya perubahan yang
cukup signifikan antara single node dan multi
node menggunakan MapReduce mencapai
1.521 detik sehingga kecepatan komputasi
multi node lebih cepat dibandingkan dengan
komputasi single node.
2. Faktor yang berpengaruh terhadap
kinerja i/o hdfs adalah file size dan
block size.
5.2 Saran
Berikut adalah saran yang dapat dilakukan dalam
pengembangan selanjutnya yaitu melakukan query
pencarian dokumen dengan jumlah data yang sangat
besar dan Klusterisasi dokumen yang biasanya
memerlukan jumlah sampel data yang sangat banyak
Referensi
[1] Abdurachman, Zaky. (2011). Single Node Cluster
dengan Hadoop. Jakarta Pusat: InfoLinux Media
Utama.
[2] Apache Hadoop. (2011). Retrieved Februari 10,
2012, from Apache Software Foundation.:
http://hadoop.apache.org/
[2] Fisher, M. (2003). JDBC(TM), API Tutorial and
Reference. California: Sun Microsystem. Inc.
Addison Weys.
[3] Ghemawat., J. D. (2004). MapReduce: Simplified
Data. California: Google, Inc.
[4] Komputer., W. (2011). Administrasi Jaringan
dengan Linux Ubuntu 11.4. Yogyakarta: Andi.
[5] Rizvi et al. (2010). Distributed Media Player.
New Delhi.
[5] S.Tanenbaum, A. &. (1995). Distributed Systems
Principles and Paradigms. New Jersey: Prentice
Hall.
[7] Venner, Jason. (2012). Pro Hadoop. United States
of America: Apress.
[8] White, Tom. (2009). Hadoop: The Definitive
Guide. California: 0'Reilly Media, Inc.
[9] White, Tom. (2008). HDFS Reability. California:
Cloudera Inc.