Hadoop Multi Node Cluster (Full Distributed)

4.3 Hadoop Multi Node Cluster (Full Distributed)

1. Konfigurasi Jaringan - Setting IP Windows, untuk 1 PC Master + (1 PC Slave sebagai

Node1). Masuk ke, Network and Sharing Center  Ethernet  Properties  IPv4  Properties

Gambar 4.35 Setting IP Windows ke-1 - Setting IP, 1 PC Master

Gambar 4.36 Setting IP PC Master

- Setting IP, 1 PC Slave

Gambar 4.37 Setting IP PC Slave Note: IP address untuk setiap PC berbeda

- Pada PC Master dan Slave, Klik Settings  Network  Adapter 1  Pada kolom Attached to pilih NAT  OK

Gambar 4.38 Pilih NAT

- Pada PC Master, Klik Settings  Network  Adapter 2  Pada kolom Attached to pilih Bridged Adapter  Pilih PCI 

OK

Gambar 4.39 Pilih PCI (Master) - Pada PC Slave, Klik Settings  Network  Adapter 2  Pada

kolom Attached to pilih Bridged Adapter  Pilih PCI  OK

Gambar 4.40 Pilih PCI (Slave)

- Pada PC Master, Ketik sudo nano /etc/network/interfaces

Gambar 4.41 Ketik sudo .. (Master)

- Pada PC Slave, Ketik sudo nano /etc/network/interfaces

Gambar 4.42 Ketik sudo .. (Slave)

- Pada PC Master dan PC Slave, Ketik sudo ifdown eth1 , lalu sudo ifup eth1, lalu ifconfig

Gambar 4.43 Ketik sudo ifdown eth1

2. Konfigurasi Hostname dan Hosts - Pada PC Master, Ketik sudo nano /etc/hostname

Gambar 4.44 Ketik sudo nano /etc/hostname - Pada PC Master, Ketik sudo nano /etc/hosts

Gambar 4.45 Ketik sudo nano /etc/hosts

- Pada PC Slave, Ketik sudo nano /etc/hostname

Gambar 4.46 Ketik sudo nano /etc/hostname - Pada PC Slave, Ketik sudo nano /etc/hosts

Gambar 4.47 Ketik sudo nano /etc/hosts - Pada PC Master, Cek Koneksi dengan melakukan perintah

ping pada komputer Slave

Gambar 4.48 Cek Koneksi ke PC Slave - Pada PC Slave, Cek Koneksi dengan melakukan perintah ping

pada komputer Master

Gambar 4.49 Cek Koneksi ke PC Master

- Pada PC Master, Ketik “sudo nano /usr/local/ha- doop/etc/hadoop/masters”

Gambar 4.50 Ketik “sudo nano /usr/local/hadoop/etc/hadoop/masters”

- Pada PC Master, Ketik “sudo nano /usr/local/ha- doop/etc/hadoop/masters”

Gambar 4.51 Ketik “sudo nano /usr/local/hadoop/etc/hadoop/slaves”

3. Konfigurasi file HDFS - Pada PC Master, Ketik sudo nano /usr/local/hadoop/etc/ha- doop/hdfs-site.xml

Gambar 4.52 Ketik sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration> <property>

<name>dfs.replication</name> <value>2</value>

</property>

<property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/namenode</value>

</property> </configuration>

- Pada PC Slave, Ketik sudo nano /usr/local/hadoop/etc/ha-

doop/hdfs-site.xml

Gambar 4.53 Ketik sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration> <property>

<name>dfs.replication</name> <value>2</value>

</property>

<property> <name>dfsdataenode.data.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/datanode</value>

</property> </configuration>

4. Konfigurasi file core-site, mapred, yarn - Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-

doop/etc/hadoop/core-site.xml

Gambar 4.54 Ketik sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

<property> <name>fs.default.name</name> <value>hdfs://master:9000</value>

</property>

</configuration>

- Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-

doop/etc/hadoop/mapred-site.xml

Gambar 4.55 Ketik sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>

<property> <name>mapred.job.tracker</name> <value>master:54311</value>

</property>

</configuration>

- Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-

doop/etc/hadoop/yarn-site.xml

<configuration> <property>

<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

</property> <property>

<name>yarn.nodemanager.aux- services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property>

<name>yarn.resourcemanager.resource- tracker.address</name> <value>master:8025</value> </property> <property>

<name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value>

</property> <property>

<name>yarn.resourcemanager.address</name> <value>master:8050</value>

</property> </configuration>

5. Membuat folder HDFS - Pada PC Master, Ketik berikut

• sudo rm -rf /usr/local/hadoop_tmp/ •

sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode

• sudo chown -R hduser /usr/local/hadoop •

sudo chown -R hduser /usr/local/hadoop_tmp

Gambar 4.56 Buat namenode - Pada PC Slave, Ketik berikut

• sudo rm -rf /usr/local/hadoop_tmp/ •

sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode

• sudo chown -R hduser /usr/local/hadoop •

sudo chown -R hduser /usr/local/hadoop_tmp

Gambar 4.57 Buat datanode

6. Melakukan Call SSH - Pada PC Master, Ketik ssh slave. Setelah berhasil login ketik

exit untuk kembali pada PC Master

Gambar 4.58 Call SSH dari PC Master

- Pada PC Master, Ketik ssh master. Setelah berhasil login ketik

exit untuk kembali pada PC Slave

Gambar 4.59 Call SSH dari PC Slave

- Pada PC Master, lakukan format namenode, Ketik hdfs

namenode -format

Gambar 4.60 Ketik hdfs namenode -format

- Pada PC Master, Ketik start-all.sh

Gambar 4.61 Ketik start-all.sh - Cek JPS

Gambar 4.62 JPS pada Master dan Slave - Pada PC Master, cek datanode

Gambar 4.63 Cek datanode

Note : localhost untuk pc master = localhost:50070 localhost untuk pc slave = 192.168.56.10:50070

(Menggunakan IP master)

7. Studi Kasus “Word Count” pada PC Slave - Copy

File /home/nidos/Desktop/data/File.txt ke /user/hduser/inpuWC

Gambar 4.64 Copy File - bin/hadoop jar wordcount.jar wordcount /user/hduser/in-

puWC /user/hduser/ouputWC

Gambar 4.65 bin hadoop - bin/hdfs dfs -cat /user/hduser/ouputWC/part*

Gambar 4.66 bin hdfs - Pada PC Slave

Gambar 4.67 Cek pada PC Slave

- Hasil wordcount pada PC Slave juga akan tersimpan pada PC Master

Gambar 4.68 Cek pada PC Master

Dokumen baru

PENGARUH PENERAPAN MODEL DISKUSI TERHADAP KEMAMPUAN TES LISAN SISWA PADA MATA PELAJARAN ALQUR’AN HADIS DI MADRASAH TSANAWIYAH NEGERI TUNGGANGRI KALIDAWIR TULUNGAGUNG Institutional Repository of IAIN Tulungagung

119 3984 16

PENGARUH PENERAPAN MODEL DISKUSI TERHADAP KEMAMPUAN TES LISAN SISWA PADA MATA PELAJARAN ALQUR’AN HADIS DI MADRASAH TSANAWIYAH NEGERI TUNGGANGRI KALIDAWIR TULUNGAGUNG Institutional Repository of IAIN Tulungagung

40 1057 43

PENGARUH PENERAPAN MODEL DISKUSI TERHADAP KEMAMPUAN TES LISAN SISWA PADA MATA PELAJARAN ALQUR’AN HADIS DI MADRASAH TSANAWIYAH NEGERI TUNGGANGRI KALIDAWIR TULUNGAGUNG Institutional Repository of IAIN Tulungagung

40 945 23

PENGARUH PENERAPAN MODEL DISKUSI TERHADAP KEMAMPUAN TES LISAN SISWA PADA MATA PELAJARAN ALQUR’AN HADIS DI MADRASAH TSANAWIYAH NEGERI TUNGGANGRI KALIDAWIR TULUNGAGUNG Institutional Repository of IAIN Tulungagung

21 632 24

PENGARUH PENERAPAN MODEL DISKUSI TERHADAP KEMAMPUAN TES LISAN SISWA PADA MATA PELAJARAN ALQUR’AN HADIS DI MADRASAH TSANAWIYAH NEGERI TUNGGANGRI KALIDAWIR TULUNGAGUNG Institutional Repository of IAIN Tulungagung

28 790 23

KREATIVITAS GURU DALAM MENGGUNAKAN SUMBER BELAJAR UNTUK MENINGKATKAN KUALITAS PEMBELAJARAN PENDIDIKAN AGAMA ISLAM DI SMPN 2 NGANTRU TULUNGAGUNG Institutional Repository of IAIN Tulungagung

60 1348 14

KREATIVITAS GURU DALAM MENGGUNAKAN SUMBER BELAJAR UNTUK MENINGKATKAN KUALITAS PEMBELAJARAN PENDIDIKAN AGAMA ISLAM DI SMPN 2 NGANTRU TULUNGAGUNG Institutional Repository of IAIN Tulungagung

66 1253 50

KREATIVITAS GURU DALAM MENGGUNAKAN SUMBER BELAJAR UNTUK MENINGKATKAN KUALITAS PEMBELAJARAN PENDIDIKAN AGAMA ISLAM DI SMPN 2 NGANTRU TULUNGAGUNG Institutional Repository of IAIN Tulungagung

20 825 17

KREATIVITAS GURU DALAM MENGGUNAKAN SUMBER BELAJAR UNTUK MENINGKATKAN KUALITAS PEMBELAJARAN PENDIDIKAN AGAMA ISLAM DI SMPN 2 NGANTRU TULUNGAGUNG Institutional Repository of IAIN Tulungagung

32 1111 30

KREATIVITAS GURU DALAM MENGGUNAKAN SUMBER BELAJAR UNTUK MENINGKATKAN KUALITAS PEMBELAJARAN PENDIDIKAN AGAMA ISLAM DI SMPN 2 NGANTRU TULUNGAGUNG Institutional Repository of IAIN Tulungagung

41 1350 23