Hadoop Multi Node Cluster (Full Distributed)
4.3 Hadoop Multi Node Cluster (Full Distributed)
1. Konfigurasi Jaringan - Setting IP Windows, untuk 1 PC Master + (1 PC Slave sebagai
Node1). Masuk ke, Network and Sharing Center Ethernet Properties IPv4 Properties
Gambar 4.35 Setting IP Windows ke-1 - Setting IP, 1 PC Master
Gambar 4.36 Setting IP PC Master
- Setting IP, 1 PC Slave
Gambar 4.37 Setting IP PC Slave Note: IP address untuk setiap PC berbeda
- Pada PC Master dan Slave, Klik Settings Network Adapter 1 Pada kolom Attached to pilih NAT OK
Gambar 4.38 Pilih NAT
- Pada PC Master, Klik Settings Network Adapter 2 Pada kolom Attached to pilih Bridged Adapter Pilih PCI
OK
Gambar 4.39 Pilih PCI (Master) - Pada PC Slave, Klik Settings Network Adapter 2 Pada
kolom Attached to pilih Bridged Adapter Pilih PCI OK
Gambar 4.40 Pilih PCI (Slave)
- Pada PC Master, Ketik sudo nano /etc/network/interfaces
Gambar 4.41 Ketik sudo .. (Master)
- Pada PC Slave, Ketik sudo nano /etc/network/interfaces
Gambar 4.42 Ketik sudo .. (Slave)
- Pada PC Master dan PC Slave, Ketik sudo ifdown eth1 , lalu sudo ifup eth1, lalu ifconfig
Gambar 4.43 Ketik sudo ifdown eth1
2. Konfigurasi Hostname dan Hosts - Pada PC Master, Ketik sudo nano /etc/hostname
Gambar 4.44 Ketik sudo nano /etc/hostname - Pada PC Master, Ketik sudo nano /etc/hosts
Gambar 4.45 Ketik sudo nano /etc/hosts
- Pada PC Slave, Ketik sudo nano /etc/hostname
Gambar 4.46 Ketik sudo nano /etc/hostname - Pada PC Slave, Ketik sudo nano /etc/hosts
Gambar 4.47 Ketik sudo nano /etc/hosts - Pada PC Master, Cek Koneksi dengan melakukan perintah
ping pada komputer Slave
Gambar 4.48 Cek Koneksi ke PC Slave - Pada PC Slave, Cek Koneksi dengan melakukan perintah ping
pada komputer Master
Gambar 4.49 Cek Koneksi ke PC Master
- Pada PC Master, Ketik “sudo nano /usr/local/ha- doop/etc/hadoop/masters”
Gambar 4.50 Ketik “sudo nano /usr/local/hadoop/etc/hadoop/masters”
- Pada PC Master, Ketik “sudo nano /usr/local/ha- doop/etc/hadoop/masters”
Gambar 4.51 Ketik “sudo nano /usr/local/hadoop/etc/hadoop/slaves”
3. Konfigurasi file HDFS - Pada PC Master, Ketik sudo nano /usr/local/hadoop/etc/ha- doop/hdfs-site.xml
Gambar 4.52 Ketik sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration> <property>
<name>dfs.replication</name> <value>2</value>
</property>
<property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/namenode</value>
</property> </configuration>
- Pada PC Slave, Ketik sudo nano /usr/local/hadoop/etc/ha-
doop/hdfs-site.xml
Gambar 4.53 Ketik sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration> <property>
<name>dfs.replication</name> <value>2</value>
</property>
<property> <name>dfsdataenode.data.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/datanode</value>
</property> </configuration>
4. Konfigurasi file core-site, mapred, yarn - Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-
doop/etc/hadoop/core-site.xml
Gambar 4.54 Ketik sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml
<configuration>
<property> <name>fs.default.name</name> <value>hdfs://master:9000</value>
</property>
</configuration>
- Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-
doop/etc/hadoop/mapred-site.xml
Gambar 4.55 Ketik sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property> <name>mapred.job.tracker</name> <value>master:54311</value>
</property>
</configuration>
- Pada PC Master dan Slave, Ketik sudo nano /usr/local/ha-
doop/etc/hadoop/yarn-site.xml
<configuration> <property>
<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux- services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property>
<name>yarn.resourcemanager.resource- tracker.address</name> <value>master:8025</value> </property> <property>
<name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value>
</property> <property>
<name>yarn.resourcemanager.address</name> <value>master:8050</value>
</property> </configuration>
5. Membuat folder HDFS - Pada PC Master, Ketik berikut
• sudo rm -rf /usr/local/hadoop_tmp/ •
sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode
• sudo chown -R hduser /usr/local/hadoop •
sudo chown -R hduser /usr/local/hadoop_tmp
Gambar 4.56 Buat namenode - Pada PC Slave, Ketik berikut
• sudo rm -rf /usr/local/hadoop_tmp/ •
sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode
• sudo chown -R hduser /usr/local/hadoop •
sudo chown -R hduser /usr/local/hadoop_tmp
Gambar 4.57 Buat datanode
6. Melakukan Call SSH - Pada PC Master, Ketik ssh slave. Setelah berhasil login ketik
exit untuk kembali pada PC Master
Gambar 4.58 Call SSH dari PC Master
- Pada PC Master, Ketik ssh master. Setelah berhasil login ketik
exit untuk kembali pada PC Slave
Gambar 4.59 Call SSH dari PC Slave
- Pada PC Master, lakukan format namenode, Ketik hdfs
namenode -format
Gambar 4.60 Ketik hdfs namenode -format
- Pada PC Master, Ketik start-all.sh
Gambar 4.61 Ketik start-all.sh - Cek JPS
Gambar 4.62 JPS pada Master dan Slave - Pada PC Master, cek datanode
Gambar 4.63 Cek datanode
Note : localhost untuk pc master = localhost:50070 localhost untuk pc slave = 192.168.56.10:50070
(Menggunakan IP master)
7. Studi Kasus “Word Count” pada PC Slave - Copy
File /home/nidos/Desktop/data/File.txt ke /user/hduser/inpuWC
Gambar 4.64 Copy File - bin/hadoop jar wordcount.jar wordcount /user/hduser/in-
puWC /user/hduser/ouputWC
Gambar 4.65 bin hadoop - bin/hdfs dfs -cat /user/hduser/ouputWC/part*
Gambar 4.66 bin hdfs - Pada PC Slave
Gambar 4.67 Cek pada PC Slave
- Hasil wordcount pada PC Slave juga akan tersimpan pada PC Master
Gambar 4.68 Cek pada PC Master