Hadoop Multi Node Cluster (Full Distributed)

4.3 Hadoop Multi Node Cluster (Full Distributed)

1. Konfigurasi Jaringan - Setting IP Windows, untuk 1 PC Master + (1 PC Slave sebagai

Node1). Masuk ke, Network and Sharing Center  Ethernet  Properties  IPv4  Properties

Gambar 4.35 Setting IP Windows ke-1 - Setting IP, 1 PC Master

Gambar 4.36 Setting IP PC Master

- Setting IP, 1 PC Slave

Gambar 4.37 Setting IP PC Slave Note: IP address untuk setiap PC berbeda

- Pada PC Master dan Slave, Klik Settings  Network  Adapter 1  Pada kolom Attached to pilih NAT  OK

Gambar 4.38 Pilih NAT

- Pada PC Master, Klik Settings  Network  Adapter 2  Pada kolom Attached to pilih Bridged Adapter  Pilih PCI 

OK

Gambar 4.39 Pilih PCI (Master) - Pada PC Slave, Klik Settings  Network  Adapter 2  Pada

kolom Attached to pilih Bridged Adapter  Pilih PCI  OK

Gambar 4.40 Pilih PCI (Slave)

- Pada PC Master, Ketik sudo nano /etc/network/interfaces

Gambar 4.41 Ketik sudo .. (Master)

- Pada PC Slave, Ketik sudo nano /etc/network/interfaces

Gambar 4.42 Ketik sudo .. (Slave)

- Pada PC Master dan PC Slave, Ketik sudo ifdown eth1 , lalu sudo ifup eth1, lalu ifconfig

Gambar 4.43 Ketik sudo ifdown eth1

2. Konfigurasi Hostname dan Hosts - Pada PC Master, Ketik sudo nano /etc/hostname

Gambar 4.44 Ketik sudo nano /etc/hostname - Pada PC Master, Ketik sudo nano /etc/hosts

Gambar 4.45 Ketik sudo nano /etc/hosts

- Pada PC Slave, Ketik sudo nano /etc/hostname

Gambar 4.46 Ketik sudo nano /etc/hostname - Pada PC Slave, Ketik sudo nano /etc/hosts

Gambar 4.47 Ketik sudo nano /etc/hosts - Pada PC Master, Cek Koneksi dengan melakukan perintah

ping pada komputer Slave

Gambar 4.48 Cek Koneksi ke PC Slave - Pada PC Slave, Cek Koneksi dengan melakukan perintah ping

pada komputer Master

Gambar 4.49 Cek Koneksi ke PC Master

- Pada PC Master, Ketik “sudo nano /usr/local/ha- doop/etc/hadoop/masters”

Gambar 4.50 Ketik “sudo nano /usr/local/hadoop/etc/hadoop/masters”

- Pada PC Master, Ketik “sudo nano /usr/local/ha- doop/etc/hadoop/masters”

Gambar 4.51 Ketik “sudo nano /usr/local/hadoop/etc/hadoop/slaves”

3. Konfigurasi file HDFS - Pada PC Master, Ketik sudo nano /usr/local/hadoop/etc/ha- doop/hdfs-site.xml

Gambar 4.52 Ketik sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration> <property>

<name>dfs.replication</name> <value>2</value>

</property>

<property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/namenode</value>

</property> </configuration>

- Pada PC Slave, Ketik sudo nano /usr/local/hadoop/etc/ha-

doop/hdfs-site.xml

Gambar 4.53 Ketik sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration> <property>

<name>dfs.replication</name> <value>2</value>

</property>

<property> <name>dfsdataenode.data.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/datanode</value>

</property> </configuration>

4. Konfigurasi file core-site, mapred, yarn - Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-

doop/etc/hadoop/core-site.xml

Gambar 4.54 Ketik sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

<property> <name>fs.default.name</name> <value>hdfs://master:9000</value>

</property>

</configuration>

- Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-

doop/etc/hadoop/mapred-site.xml

Gambar 4.55 Ketik sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>

<property> <name>mapred.job.tracker</name> <value>master:54311</value>

</property>

</configuration>

- Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-

doop/etc/hadoop/yarn-site.xml

<configuration> <property>

<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

</property> <property>

<name>yarn.nodemanager.aux- services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property>

<name>yarn.resourcemanager.resource- tracker.address</name> <value>master:8025</value> </property> <property>

<name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value>

</property> <property>

<name>yarn.resourcemanager.address</name> <value>master:8050</value>

</property> </configuration>

5. Membuat folder HDFS - Pada PC Master, Ketik berikut

• sudo rm -rf /usr/local/hadoop_tmp/ •

sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode

• sudo chown -R hduser /usr/local/hadoop •

sudo chown -R hduser /usr/local/hadoop_tmp

Gambar 4.56 Buat namenode - Pada PC Slave, Ketik berikut

• sudo rm -rf /usr/local/hadoop_tmp/ •

sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode

• sudo chown -R hduser /usr/local/hadoop •

sudo chown -R hduser /usr/local/hadoop_tmp

Gambar 4.57 Buat datanode

6. Melakukan Call SSH - Pada PC Master, Ketik ssh slave. Setelah berhasil login ketik

exit untuk kembali pada PC Master

Gambar 4.58 Call SSH dari PC Master

- Pada PC Master, Ketik ssh master. Setelah berhasil login ketik

exit untuk kembali pada PC Slave

Gambar 4.59 Call SSH dari PC Slave

- Pada PC Master, lakukan format namenode, Ketik hdfs

namenode -format

Gambar 4.60 Ketik hdfs namenode -format

- Pada PC Master, Ketik start-all.sh

Gambar 4.61 Ketik start-all.sh - Cek JPS

Gambar 4.62 JPS pada Master dan Slave - Pada PC Master, cek datanode

Gambar 4.63 Cek datanode

Note : localhost untuk pc master = localhost:50070 localhost untuk pc slave = 192.168.56.10:50070

(Menggunakan IP master)

7. Studi Kasus “Word Count” pada PC Slave - Copy

File /home/nidos/Desktop/data/File.txt ke /user/hduser/inpuWC

Gambar 4.64 Copy File - bin/hadoop jar wordcount.jar wordcount /user/hduser/in-

puWC /user/hduser/ouputWC

Gambar 4.65 bin hadoop - bin/hdfs dfs -cat /user/hduser/ouputWC/part*

Gambar 4.66 bin hdfs - Pada PC Slave

Gambar 4.67 Cek pada PC Slave

- Hasil wordcount pada PC Slave juga akan tersimpan pada PC Master

Gambar 4.68 Cek pada PC Master