IMPLEMENTASI HADOOP DISTRIBUTED FILE SYSTEM DALAM CLUSTER SERVER.
perpustakaan.uns.ac.id
digilib.uns.ac.id
NIM. M3111053
PROGRAM STUDI DIPLOMA III TEKNIK INFORMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SEBELAS MARET
SURAKARTA
2014
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRACT
DONI BAWONO. M3111053. HADOOP DISTRIBUTED FILE SYSTEM
IMPLEMENTATION IN CLUSTER SERVER. Diploma of Information
Engineering, Faculty of Natural Sciences and Metematika, Univertas of March,
June 2014.
Nowdays, the growth of data so quickly, within a few years the amount of
data that must be managed by a leading IT firms in the world can reach the size of
Peta Byte. If the management of large data is not matched by the management of
the storage media (server) that will adequately reduce productivity.
One technology that offered to handle the data growth rate with the storage
media is HDFS (Hadoop Distributed File System) which adopts the GFS (Google
File System) with the level of effectiveness in terms of storage media and
economic factors. HDFS uses the concept of data blocks of a file are stored in
multiple machines connected together in a cluster.
Implementation of HDFS as an effective alternative storage media with a
simple infrastructure which uses commodity hardware that is relatively affordable
compared to a server with the same capabilities.
Keywords: Hadoop, HDFS, GFS, MapReduce,DFSIO
commit to user
iv
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRAK
DONI BAWONO. M3111053.IMPLEMENTASI HADOOP DISTRIBUTED
F ILE SYSTEM DALAM CLUSTER SERVER. Diploma III Teknik Informatika,
Fakultas Metematika dan Ilmu Pengetahuan Alam, Univertas Sebelas Maret, Juni
2014.
Saat ini pertumbuhan data begitu cepat, dalam beberapa tahun saja jumlah
data yang harus dikelola oleh perusahan-perusahaan IT terkemuka didunia bisa
mencapai ukuran Peta Byte. Jika pengelolaan data yang besar ini tidak diimbangi
dengan pengelolaan media penyimpanan (server) yang memadai maka akan
mengurangi produktifitas.
Salah satu teknologi yang ditawarkan untuk menangani laju pertumbuhan
data dengan media penyimpanan adalah HDFS (Hadoop Distributed File System)
yang mengadopsi GFS (Google File System) dengan tingkat efektifitas dari segi
media penyimpanan dan faktor ekonomi. HDFS menggunakan konsep blok-blok
data dari sebuah file yang disimpan dalam beberapa mesin yang saling terhubung
dalam sebuah cluster.
Penerapan dari HDFS sebagai alternative media penyimpanan yang efektif
dengan infrastruktur yang sederhana dimana menggunakan hardware komoditas
yang relative terjangkau dibandingkan sebuah server kebanyakan dengan
kemampuan yang sama.
Katakunci: Hadoop, HDFS, GFS, MapReduce, DFSIO
commit to user
v
perpustakaan.uns.ac.id
digilib.uns.ac.id
MOTTO
harta. Ilmu itu penghukum (hakim) dan harta terhukum. Harta itu kurang apabila
:: Khalifah Ali bin Abi Talib ::
-besarnya, tapi bersegeralah untuk mengerjakan
sekecil-kecilnya ke
:: Mario Teguh ::
-orang sukses yang saya kenal adalah mereka yang lebih banyak
:: Bernard M Baruch ::
commit to user
vi
perpustakaan.uns.ac.id
digilib.uns.ac.id
HALAMAN PERSEMBAHAN
Yang Pertama dan Utama
Alhamdulillah, Segala puji hanya milik Allah S.W.T yang telah menganugerahkan
kelapangan, kesempatan, dan kemampuan untuk menyelesaikan Tugas Akhir ini.
Tidak ada kata yang lebih pantas, melainkan rasa syukur dari lubuk hati hamba
yang terdalam
Kedua OrangtuKu
Terimaksih untuk bapak dan ibu yang tak kenal lelah selalu menasehati dan
memberikan dukungan terhadap pengerjaan Tugas Akhir ini
Kedua AdiKu
Untuk kedua adikKu dukungan dan semangat dalam menimba ilmu, semoga bisa
menjadi pelajaran berharga sebagai bekal hidup di dunia ini.
Dosen Pembimbing
Terimakasih, Bapak Rudi Hartono, S.Si atas segala bantuan dan bimbingannya
selama pengerjaan laporan Tugas Akhir ini sehingga selesai pada waktunya
Sahabat Sahabatku
Terimaksih atas ceita yang telah kalian torehkan dalam catatan hidupKu yang
sangat berarti dan berharga selama ini.
Doni Bawono
commit to user
vii
perpustakaan.uns.ac.id
digilib.uns.ac.id
KATA PENGANTAR
Puji syukur penulis panjatkan kehadirat Allah S.W.T atas limpahan
rahmatNya,
sehingga
penyusunan
Laporan
Tugas
Akhir
dengan
judul
Implementasi Hadoop Distributed File System dalam Cluster Server ini dapat
terselesaikan pada waktunya tanpa halangan berarti.
Penyusunan laporan ini bertujuan untuk memenuhi sebagian persyaratan
mencapai derajat Diploma III Teknik Informatika Fakultas Matematika dan Ilmu
Pengetahuan Alam Universitas Sebelas Maret Surakarta.
Dalam penyusunan Laporan Tugas Akhir ini penulis mendapatkan bantuan
dan dukungan dari berbagai pihak. Oleh sebab itu pada kesempatan ini, penulis
mengucapkan terima kasih kepada semua pihak yang telah memberikan bantuan
dan dukungannya, terutama kepada:
1.
Ir. Ari Handono Ramelan, M.Sc. (Hons), Ph.D selaku Dekan Fakultas
Matematika dan Ilmu Pengetahuan Alam Universitas Sebelas Maret Surakarta
yang telah memberikan kesempatan belajar di lingkungan FMIPA UNS.
2.
Bapak Drs. Y. S. Palgunadi, M.Sc. selaku Ketua Program Studi Diploma III
Teknik Informatika Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Sebelas Maret Surakarta yang telah memberikan kesempatan
belajar di program studi D3 Teknik Informatika.
3.
Bapak Rudi Hartono, S.Si selaku Dosen Pembimbing Tugas Akhir yang telah
memberikan bimbingan, pengarahan, kritik, dan saran serta dukungan selama
penyusunan Laporan Tugas Akhir ini.
4.
Ayah dan Ibu tercinta yang telah banyak memberikan dukungan dan masukan
yang membangun.
5.
Semua pihak terkait yang tidak bisa saya sebutkan satu persatu, atas bantuan
dan dukungannya selama penulis belajar di D3 Teknik Informatika.
commit to user
viii
perpustakaan.uns.ac.id
digilib.uns.ac.id
Semoga Allah S.W.T memberikan balasan yang lebih baik kepada pihakpihak yang telah memberikan bantuan dan dukungan dari awal penulis belajar di
D3 Teknik Informatika sampai berakhirnya penyusunan Laporan Tugas Akhir ini
selesai.
Semoga dengan selesainya penyusunan Laporan Tugas Akhir ini dapat
memberikan manfaat dan kebaikan pada penulis dan pembaca sekalian.
Surakarta, 15 Juni 2014
Penulis
commit to user
ix
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR ISI
HALAMAN JUDUL................................................................................................ i
HALAMAN PERSETUJUAN ................................................................................ ii
HALAMAN PENGESAHAN ................................................................................ iii
ABSTRACT ............................................................................................................ ii
ABSTRAK .............................................................................................................. v
MOTTO.................................................................................................................. vi
HALAMAN PERSEMBAHAN............................................................................ vii
KATA PENGANTAR ......................................................................................... viii
DAFTAR ISI ........................................................................................................... x
DAFTAR GAMBAR ........................................................................................... xiii
DAFTAR TABEL ................................................................................................. xv
BAB I PENDAHULUAN ...................................................................................... 1
1.1
Latar Belakang.......................................................................................... 1
1.2
Perumusan Masalah .................................................................................. 3
1.3
Batasan Masalah Penelitian ...................................................................... 3
1.4
Tujuan Penelitian...................................................................................... 3
1.5
Manfaat Penelitian .................................................................................... 3
1.6
Metodologi Penelitian .............................................................................. 4
1.7
Sistematika Penulisan ............................................................................... 5
BAB II LANDASAN TEORI ................................................................................. 7
2.1
Hadoop ..................................................................................................... 7
2.2
HDFS (Hadoop Distributed File System)................................................. 9
2.2.1
Pengertian Hadoop Distributed File System ..................................... 9
2.2.1
Model data dan Struktur HDFS......................................................... 9
commit to user
x
perpustakaan.uns.ac.id
2.2.1
digilib.uns.ac.id
Prosedur Menyimpan dan membaca data dalam HDFS ................. 11
BAB III ANALISA KEBUTUHAN DAN PERANCANGAN SISTEM ............. 13
3.1
Analisa Kebutuhan Sistem ..................................................................... 13
3.2
Alur Penelitian ........................................................................................ 14
3.3
Perancangan Sistem ................................................................................ 16
3.4
Cara Analisis .......................................................................................... 16
BAB IV IMPLEMENTASI DAN ANALISIS ...................................................... 20
4.1
Instalasi Komponen dasar....................................................................... 20
4.4.1
Install JDK 7 ................................................................................... 20
4.4.1
Install Openssh-Server .................................................................... 20
4.2
Menambahkan dedicated user ................................................................ 21
4.3
Konfigurasi Jaringan .............................................................................. 21
4.3.1
Setting IP Address ........................................................................... 22
4.3.2
Akses SSH ....................................................................................... 23
4.4
Cluster Overview .................................................................................... 24
4.5
Konfigurasi Hadoop ............................................................................... 25
4.5.1
Install Hadoop ................................................................................. 25
4.5.2
Konfigurasi hadoop-env.sh (semua mesin) ..................................... 26
4.5.3
Konfigurasi conf/core-site.xml (semua mesin) ............................... 26
4.5.4
Konfigurasi conf/mapred-site.xml (semua mesin) .......................... 27
4.5.5
Konfigurasi conf/hdfs-site.xml (semua mesin) ............................... 28
4.6
Analisis ................................................................................................... 28
4.6.1
Menjalankan Multi Node Cluster .................................................... 28
4.6.2
Menghentikan Multi Node Cluster.................................................. 30
4.6.3
HDFS For mating ............................................................................ 30
4.6.4
Testing HDFS Write ........................................................................ 31
4.6.5
Testing HDFS Read ......................................................................... 34
4.6.6
Files and Block................................................................................ 35
4.6.6
HDFS Benchmark (DFSIO) Write Read ......................................... 36
BAB V PENUTUP ................................................................................................ 46
commit to user
xi
perpustakaan.uns.ac.id
digilib.uns.ac.id
5.1
Kesimpulan............................................................................................. 46
5.2
Saran ....................................................................................................... 46
DAFTAR PUSTAKA ........................................................................................... 47
LAMPIRAN .......................................................................................................... 48
commit to user
xii
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR GAMBAR
Gambar 1.1 Metodologi Penelitian........................................................................ 4
Gambar 2.1 Arsitektur Hadoop ............................................................................. 7
Gambar 2.2 Mengakses data pada HDFS ............................................................ 10
Gambar 2.3 Menyimpan data ke dalam HDFS.................................................... 11
Gambar 2.4 Membaca data yang tersimpan dalam HDFS .................................. 12
Gambar 3.1 Skema jalannya penelitian ............................................................... 14
Gambar 3.2 Perancangan Sistem ......................................................................... 16
Gambar 3.3 Skema pembagian blok data ............................................................ 17
Gambar 3.4 Skema HDFS File Write .................................................................. 18
Gambar 3.5 Skema HDFS Files Read ................................................................. 18
Gambar 4.1 Melihat versi JDK pada sistem ........................................................ 20
Gambar 4.2 Topologi Jaringan ............................................................................ 21
Gambar 4.3 Konfigurasi IP Address NodeMaster dan DataNode 1 .................... 22
Gambar 4.4 Konfigurasi IP Address DataNode 2................................................ 22
Gambar 4.5 Konfigurasi IP Address DataNode 3................................................ 22
Gambar 4.6 Akses SSH NodeMaster ke DataNode 2 ......................................... 24
Gambar 4.7 Akses SSH NodeMaster ke DataNode 3 ......................................... 24
Gambar 4.8 HDFS Cluster Overview .................................................................. 25
Gambar 4.9 Menjalankan HDFS ......................................................................... 29
Gambar 4.10 File logs/ hadoop-hduser-datanode-slave.log ................................ 29
Gambar 4.11 JPS pada master ............................................................................. 29
Gambar 4.12 JPS pada slave................................................................................ 30
commit to user
xiii
perpustakaan.uns.ac.id
digilib.uns.ac.id
Gambar 4.13 Menghentikan HDFS service ......................................................... 30
Gambar 4.14 Hasil JPS setelah HDFS service dimatikan ................................... 30
Gambar 4.15 Format HDFS berhasil ................................................................... 31
Gambar 4.16 skema HDFS Write ........................................................................ 31
Gambar 4.17 Proses HDFS Write pada DataNode pertama ................................ 32
Gambar 4.18 Proses HDFS Write pada DataNode kedua ................................... 33
Gambar 4.19 Proses HDFS Write pada DataNode ketiga ................................... 33
Gambar 4.20 DFS manajemen............................................................................. 33
Gambar 4.21 Blok ID disetiap node .................................................................... 34
Gambar 4.22 Skema HDFS File Write ................................................................ 34
Gambar 4.23 HDFS File Blok Read node pertama ............................................. 35
Gambar 4.24 HDFS File Blok Read node kedua ................................................. 35
Gambar 4.25 HDFS File Blok Read node ketiga ................................................ 35
Gambar 4.26 HDFS Files and Data Block .......................................................... 35
Gambar 4.27 Grafik DFSIO Write (throughput) percobaan I ............................. 37
Gambar 4.28 Grafik DFSIO Write (throughput) percobaan II ............................ 38
Gambar 4.29Grafik DFSIO Write (time) percobaan I ......................................... 39
Gambar 4.30 Grafik DFSIO Write (time) percobaan II ....................................... 40
Gambar 4.31 Grafik DFSIO Read (throughput) percobaan I .............................. 42
Gambar 4.32 Grafik DFSIO Read (throughput) percobaan II............................. 43
Gambar 4.33Grafik DFSIO Read (time) percobaan I .......................................... 44
Gambar 4.34Grafik DFSIO Read (time) percobaan II ........................................ 45
commit to user
xiv
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR TABEL
Tabel 4.1 DFSIO Write (throughput) percobaan I ............................................... 37
Tabel 4.2 DFSIO Write (throughput) percobaan II .............................................. 38
Tabel 4.3 DFSIO Write (time ) percobaan I .......................................................... 39
Tabel 4.4 DFSIO Write (time ) percobaan II ......................................................... 40
Tabel 4.5 DFSIO Read (throughput) percobaan I ................................................ 41
Tabel 4.6 DFSIO Read (throughput) percobaan II ............................................... 42
Tabel 4.7 DFSIO Read (time) percobaan I ........................................................... 44
Tabel 4.8 DFSIO Read (time) percobaan II.......................................................... 45
commit to user
xv
digilib.uns.ac.id
NIM. M3111053
PROGRAM STUDI DIPLOMA III TEKNIK INFORMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SEBELAS MARET
SURAKARTA
2014
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
commit to user
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRACT
DONI BAWONO. M3111053. HADOOP DISTRIBUTED FILE SYSTEM
IMPLEMENTATION IN CLUSTER SERVER. Diploma of Information
Engineering, Faculty of Natural Sciences and Metematika, Univertas of March,
June 2014.
Nowdays, the growth of data so quickly, within a few years the amount of
data that must be managed by a leading IT firms in the world can reach the size of
Peta Byte. If the management of large data is not matched by the management of
the storage media (server) that will adequately reduce productivity.
One technology that offered to handle the data growth rate with the storage
media is HDFS (Hadoop Distributed File System) which adopts the GFS (Google
File System) with the level of effectiveness in terms of storage media and
economic factors. HDFS uses the concept of data blocks of a file are stored in
multiple machines connected together in a cluster.
Implementation of HDFS as an effective alternative storage media with a
simple infrastructure which uses commodity hardware that is relatively affordable
compared to a server with the same capabilities.
Keywords: Hadoop, HDFS, GFS, MapReduce,DFSIO
commit to user
iv
perpustakaan.uns.ac.id
digilib.uns.ac.id
ABSTRAK
DONI BAWONO. M3111053.IMPLEMENTASI HADOOP DISTRIBUTED
F ILE SYSTEM DALAM CLUSTER SERVER. Diploma III Teknik Informatika,
Fakultas Metematika dan Ilmu Pengetahuan Alam, Univertas Sebelas Maret, Juni
2014.
Saat ini pertumbuhan data begitu cepat, dalam beberapa tahun saja jumlah
data yang harus dikelola oleh perusahan-perusahaan IT terkemuka didunia bisa
mencapai ukuran Peta Byte. Jika pengelolaan data yang besar ini tidak diimbangi
dengan pengelolaan media penyimpanan (server) yang memadai maka akan
mengurangi produktifitas.
Salah satu teknologi yang ditawarkan untuk menangani laju pertumbuhan
data dengan media penyimpanan adalah HDFS (Hadoop Distributed File System)
yang mengadopsi GFS (Google File System) dengan tingkat efektifitas dari segi
media penyimpanan dan faktor ekonomi. HDFS menggunakan konsep blok-blok
data dari sebuah file yang disimpan dalam beberapa mesin yang saling terhubung
dalam sebuah cluster.
Penerapan dari HDFS sebagai alternative media penyimpanan yang efektif
dengan infrastruktur yang sederhana dimana menggunakan hardware komoditas
yang relative terjangkau dibandingkan sebuah server kebanyakan dengan
kemampuan yang sama.
Katakunci: Hadoop, HDFS, GFS, MapReduce, DFSIO
commit to user
v
perpustakaan.uns.ac.id
digilib.uns.ac.id
MOTTO
harta. Ilmu itu penghukum (hakim) dan harta terhukum. Harta itu kurang apabila
:: Khalifah Ali bin Abi Talib ::
-besarnya, tapi bersegeralah untuk mengerjakan
sekecil-kecilnya ke
:: Mario Teguh ::
-orang sukses yang saya kenal adalah mereka yang lebih banyak
:: Bernard M Baruch ::
commit to user
vi
perpustakaan.uns.ac.id
digilib.uns.ac.id
HALAMAN PERSEMBAHAN
Yang Pertama dan Utama
Alhamdulillah, Segala puji hanya milik Allah S.W.T yang telah menganugerahkan
kelapangan, kesempatan, dan kemampuan untuk menyelesaikan Tugas Akhir ini.
Tidak ada kata yang lebih pantas, melainkan rasa syukur dari lubuk hati hamba
yang terdalam
Kedua OrangtuKu
Terimaksih untuk bapak dan ibu yang tak kenal lelah selalu menasehati dan
memberikan dukungan terhadap pengerjaan Tugas Akhir ini
Kedua AdiKu
Untuk kedua adikKu dukungan dan semangat dalam menimba ilmu, semoga bisa
menjadi pelajaran berharga sebagai bekal hidup di dunia ini.
Dosen Pembimbing
Terimakasih, Bapak Rudi Hartono, S.Si atas segala bantuan dan bimbingannya
selama pengerjaan laporan Tugas Akhir ini sehingga selesai pada waktunya
Sahabat Sahabatku
Terimaksih atas ceita yang telah kalian torehkan dalam catatan hidupKu yang
sangat berarti dan berharga selama ini.
Doni Bawono
commit to user
vii
perpustakaan.uns.ac.id
digilib.uns.ac.id
KATA PENGANTAR
Puji syukur penulis panjatkan kehadirat Allah S.W.T atas limpahan
rahmatNya,
sehingga
penyusunan
Laporan
Tugas
Akhir
dengan
judul
Implementasi Hadoop Distributed File System dalam Cluster Server ini dapat
terselesaikan pada waktunya tanpa halangan berarti.
Penyusunan laporan ini bertujuan untuk memenuhi sebagian persyaratan
mencapai derajat Diploma III Teknik Informatika Fakultas Matematika dan Ilmu
Pengetahuan Alam Universitas Sebelas Maret Surakarta.
Dalam penyusunan Laporan Tugas Akhir ini penulis mendapatkan bantuan
dan dukungan dari berbagai pihak. Oleh sebab itu pada kesempatan ini, penulis
mengucapkan terima kasih kepada semua pihak yang telah memberikan bantuan
dan dukungannya, terutama kepada:
1.
Ir. Ari Handono Ramelan, M.Sc. (Hons), Ph.D selaku Dekan Fakultas
Matematika dan Ilmu Pengetahuan Alam Universitas Sebelas Maret Surakarta
yang telah memberikan kesempatan belajar di lingkungan FMIPA UNS.
2.
Bapak Drs. Y. S. Palgunadi, M.Sc. selaku Ketua Program Studi Diploma III
Teknik Informatika Fakultas Matematika dan Ilmu Pengetahuan Alam
Universitas Sebelas Maret Surakarta yang telah memberikan kesempatan
belajar di program studi D3 Teknik Informatika.
3.
Bapak Rudi Hartono, S.Si selaku Dosen Pembimbing Tugas Akhir yang telah
memberikan bimbingan, pengarahan, kritik, dan saran serta dukungan selama
penyusunan Laporan Tugas Akhir ini.
4.
Ayah dan Ibu tercinta yang telah banyak memberikan dukungan dan masukan
yang membangun.
5.
Semua pihak terkait yang tidak bisa saya sebutkan satu persatu, atas bantuan
dan dukungannya selama penulis belajar di D3 Teknik Informatika.
commit to user
viii
perpustakaan.uns.ac.id
digilib.uns.ac.id
Semoga Allah S.W.T memberikan balasan yang lebih baik kepada pihakpihak yang telah memberikan bantuan dan dukungan dari awal penulis belajar di
D3 Teknik Informatika sampai berakhirnya penyusunan Laporan Tugas Akhir ini
selesai.
Semoga dengan selesainya penyusunan Laporan Tugas Akhir ini dapat
memberikan manfaat dan kebaikan pada penulis dan pembaca sekalian.
Surakarta, 15 Juni 2014
Penulis
commit to user
ix
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR ISI
HALAMAN JUDUL................................................................................................ i
HALAMAN PERSETUJUAN ................................................................................ ii
HALAMAN PENGESAHAN ................................................................................ iii
ABSTRACT ............................................................................................................ ii
ABSTRAK .............................................................................................................. v
MOTTO.................................................................................................................. vi
HALAMAN PERSEMBAHAN............................................................................ vii
KATA PENGANTAR ......................................................................................... viii
DAFTAR ISI ........................................................................................................... x
DAFTAR GAMBAR ........................................................................................... xiii
DAFTAR TABEL ................................................................................................. xv
BAB I PENDAHULUAN ...................................................................................... 1
1.1
Latar Belakang.......................................................................................... 1
1.2
Perumusan Masalah .................................................................................. 3
1.3
Batasan Masalah Penelitian ...................................................................... 3
1.4
Tujuan Penelitian...................................................................................... 3
1.5
Manfaat Penelitian .................................................................................... 3
1.6
Metodologi Penelitian .............................................................................. 4
1.7
Sistematika Penulisan ............................................................................... 5
BAB II LANDASAN TEORI ................................................................................. 7
2.1
Hadoop ..................................................................................................... 7
2.2
HDFS (Hadoop Distributed File System)................................................. 9
2.2.1
Pengertian Hadoop Distributed File System ..................................... 9
2.2.1
Model data dan Struktur HDFS......................................................... 9
commit to user
x
perpustakaan.uns.ac.id
2.2.1
digilib.uns.ac.id
Prosedur Menyimpan dan membaca data dalam HDFS ................. 11
BAB III ANALISA KEBUTUHAN DAN PERANCANGAN SISTEM ............. 13
3.1
Analisa Kebutuhan Sistem ..................................................................... 13
3.2
Alur Penelitian ........................................................................................ 14
3.3
Perancangan Sistem ................................................................................ 16
3.4
Cara Analisis .......................................................................................... 16
BAB IV IMPLEMENTASI DAN ANALISIS ...................................................... 20
4.1
Instalasi Komponen dasar....................................................................... 20
4.4.1
Install JDK 7 ................................................................................... 20
4.4.1
Install Openssh-Server .................................................................... 20
4.2
Menambahkan dedicated user ................................................................ 21
4.3
Konfigurasi Jaringan .............................................................................. 21
4.3.1
Setting IP Address ........................................................................... 22
4.3.2
Akses SSH ....................................................................................... 23
4.4
Cluster Overview .................................................................................... 24
4.5
Konfigurasi Hadoop ............................................................................... 25
4.5.1
Install Hadoop ................................................................................. 25
4.5.2
Konfigurasi hadoop-env.sh (semua mesin) ..................................... 26
4.5.3
Konfigurasi conf/core-site.xml (semua mesin) ............................... 26
4.5.4
Konfigurasi conf/mapred-site.xml (semua mesin) .......................... 27
4.5.5
Konfigurasi conf/hdfs-site.xml (semua mesin) ............................... 28
4.6
Analisis ................................................................................................... 28
4.6.1
Menjalankan Multi Node Cluster .................................................... 28
4.6.2
Menghentikan Multi Node Cluster.................................................. 30
4.6.3
HDFS For mating ............................................................................ 30
4.6.4
Testing HDFS Write ........................................................................ 31
4.6.5
Testing HDFS Read ......................................................................... 34
4.6.6
Files and Block................................................................................ 35
4.6.6
HDFS Benchmark (DFSIO) Write Read ......................................... 36
BAB V PENUTUP ................................................................................................ 46
commit to user
xi
perpustakaan.uns.ac.id
digilib.uns.ac.id
5.1
Kesimpulan............................................................................................. 46
5.2
Saran ....................................................................................................... 46
DAFTAR PUSTAKA ........................................................................................... 47
LAMPIRAN .......................................................................................................... 48
commit to user
xii
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR GAMBAR
Gambar 1.1 Metodologi Penelitian........................................................................ 4
Gambar 2.1 Arsitektur Hadoop ............................................................................. 7
Gambar 2.2 Mengakses data pada HDFS ............................................................ 10
Gambar 2.3 Menyimpan data ke dalam HDFS.................................................... 11
Gambar 2.4 Membaca data yang tersimpan dalam HDFS .................................. 12
Gambar 3.1 Skema jalannya penelitian ............................................................... 14
Gambar 3.2 Perancangan Sistem ......................................................................... 16
Gambar 3.3 Skema pembagian blok data ............................................................ 17
Gambar 3.4 Skema HDFS File Write .................................................................. 18
Gambar 3.5 Skema HDFS Files Read ................................................................. 18
Gambar 4.1 Melihat versi JDK pada sistem ........................................................ 20
Gambar 4.2 Topologi Jaringan ............................................................................ 21
Gambar 4.3 Konfigurasi IP Address NodeMaster dan DataNode 1 .................... 22
Gambar 4.4 Konfigurasi IP Address DataNode 2................................................ 22
Gambar 4.5 Konfigurasi IP Address DataNode 3................................................ 22
Gambar 4.6 Akses SSH NodeMaster ke DataNode 2 ......................................... 24
Gambar 4.7 Akses SSH NodeMaster ke DataNode 3 ......................................... 24
Gambar 4.8 HDFS Cluster Overview .................................................................. 25
Gambar 4.9 Menjalankan HDFS ......................................................................... 29
Gambar 4.10 File logs/ hadoop-hduser-datanode-slave.log ................................ 29
Gambar 4.11 JPS pada master ............................................................................. 29
Gambar 4.12 JPS pada slave................................................................................ 30
commit to user
xiii
perpustakaan.uns.ac.id
digilib.uns.ac.id
Gambar 4.13 Menghentikan HDFS service ......................................................... 30
Gambar 4.14 Hasil JPS setelah HDFS service dimatikan ................................... 30
Gambar 4.15 Format HDFS berhasil ................................................................... 31
Gambar 4.16 skema HDFS Write ........................................................................ 31
Gambar 4.17 Proses HDFS Write pada DataNode pertama ................................ 32
Gambar 4.18 Proses HDFS Write pada DataNode kedua ................................... 33
Gambar 4.19 Proses HDFS Write pada DataNode ketiga ................................... 33
Gambar 4.20 DFS manajemen............................................................................. 33
Gambar 4.21 Blok ID disetiap node .................................................................... 34
Gambar 4.22 Skema HDFS File Write ................................................................ 34
Gambar 4.23 HDFS File Blok Read node pertama ............................................. 35
Gambar 4.24 HDFS File Blok Read node kedua ................................................. 35
Gambar 4.25 HDFS File Blok Read node ketiga ................................................ 35
Gambar 4.26 HDFS Files and Data Block .......................................................... 35
Gambar 4.27 Grafik DFSIO Write (throughput) percobaan I ............................. 37
Gambar 4.28 Grafik DFSIO Write (throughput) percobaan II ............................ 38
Gambar 4.29Grafik DFSIO Write (time) percobaan I ......................................... 39
Gambar 4.30 Grafik DFSIO Write (time) percobaan II ....................................... 40
Gambar 4.31 Grafik DFSIO Read (throughput) percobaan I .............................. 42
Gambar 4.32 Grafik DFSIO Read (throughput) percobaan II............................. 43
Gambar 4.33Grafik DFSIO Read (time) percobaan I .......................................... 44
Gambar 4.34Grafik DFSIO Read (time) percobaan II ........................................ 45
commit to user
xiv
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR TABEL
Tabel 4.1 DFSIO Write (throughput) percobaan I ............................................... 37
Tabel 4.2 DFSIO Write (throughput) percobaan II .............................................. 38
Tabel 4.3 DFSIO Write (time ) percobaan I .......................................................... 39
Tabel 4.4 DFSIO Write (time ) percobaan II ......................................................... 40
Tabel 4.5 DFSIO Read (throughput) percobaan I ................................................ 41
Tabel 4.6 DFSIO Read (throughput) percobaan II ............................................... 42
Tabel 4.7 DFSIO Read (time) percobaan I ........................................................... 44
Tabel 4.8 DFSIO Read (time) percobaan II.......................................................... 45
commit to user
xv