1. Home
  2. Lainnya

Hadoop Multi Node Cluster (Pseudo-Distributed)

4.2 Hadoop Multi Node Cluster (Pseudo-Distributed)

1. Setting PC Master + (PC Node1, Node2, Node3):

Gambar 4.2 Setting PC Master + (PC Node1, Node2, Node3): Lakukan hal berikut (Jika mau dicoba setting dari awal): Gambar 4.2 Setting PC Master + (PC Node1, Node2, Node3): Lakukan hal berikut (Jika mau dicoba setting dari awal):

Source Code 4.1 Setting PC Master + (PC Node1, Node2, Node3):

nidos@master:~$ sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

Ubah “export JAVA_HOME=....” menjadi: export

JAVA_HOME=/usr/lib/jvm/java-7-openjdk- amd64

nidos@master:~$ sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode nidos@master:~$ sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode

nidos@master:~$ sudo chown -R nidos:nidos /usr/local/hadoop_tmp

pada line terakhir, tambahkan berikut: “ export

JAVA_HOME=/usr/lib/jvm/java-7-openjdk- amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/l ib/native export

HADOOP_OPTS="- Djava.library.path=$HADOOP_INSTALL/lib/native“ export

HADOOP_CLASSPATH=/usr/lib/jvm/java-7- openjdk-amd64/lib/tools.jar

Source Code 4.2 Setting PC Master + (PC Node1, Node2, Node3): Jika memang PC master sudah disetting, atau sudah di-clone

dari PC master dari project Single Node Cluster pertemuan sebelumnya, maka abaikan langkah-langkah di atas.

Lakukan hal berikut: - nidos@master:~$ sudo gedit /etc/hostname

Gambar 4.3 nidos@master:~$ sudo gedit /etc/hostname - nidos@master:~$ sudo gedit /etc/hosts

Gambar 4.4 nidos@master:~$ sudo gedit /etc/hosts

- Klik , lalu klik “Connections Information”, pilih Ethernet, lalu tekan tombol edit

Gambar 4.5 Tampilan Menu

Ubah Method: Automatic (DHCP)

Gambar 4.6 Tampilan Menu Edit

Lalu klik “Connections Information”, lagi - Anda sudah mendapatkan “default route dan Primary DNS”

Gambar 4.7 Tampilan Connection Information - Set IP PC Master, lakukan hal berikut: Klik

, lalu klik “Edit Connections...”, lalu tekan tombol edit

Gambar 4.8 Tampilan Menu - Lakukan hal berikut

Gambar 4.9 Tampilan Edit Pada Gateway dan DNS Server

- nidos@master:~$ sudo gedit /etc/hosts

Gambar 4.10 Hasil nidos@master:~$ sudo gedit /etc/hosts

Ubah method menjadi: Manual

Gambar 4.11 Tampilan Edit Method Menjadi Manual

- Lakukan hal berikut: nidos@master:~$ sudo gedit

/usr/local/hadoop/etc/hadoop/masters master nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/slaves node1 node2 node3 nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml .. <configuration>

<property>

<name>dfs.replication</name> <value>3</value>

</property> <property>

<name>dfs.namenode.name.dir</name> <value>file:/usr/local/ha-

doop_tmp/hdfs/namenode</value> </property>

</configuration>

Source Code 4.3 Setting PC Master

- Lakukan hal berikut: nidos@master:~$

gedit /usr/local/hadoop/etc/hadoop/masters

sudo

Gambar 4.12 Hasil nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/masters

- Lakukan hal berikut: nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/slaves

Gambar 4.13 Hasil nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/slaves

- Lakukan hal berikut:

nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml .. <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>

Source Code 4.4 Setting PC Master

- Lakukan hal berikut: - Lakukan hal berikut:

<name>mapred.job.tracker</name> <value>master:54311</value>

</property> </configuration>

Source Code 4.5 Setting PC Master - Lakukan hal berikut:

nidos@master:~$ sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml .. <configuration> <property>

<name>yarn.nodemanager.aux-ser- vices</name>

<value>mapreduce_shuffle</value> </property> <property>

<name>yarn.nodemanager.aux-ser- vices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.Shuffle- Handler</value> </property> <property>

<name>yarn.resourcemanager.resource- tracker.address</name> <value>master:8025</value> </property> <property>

<name>yarn.resourcemanager.scheduler.ad- dress</name> <value>master:8030</value> </property> <property>

<name>yarn.resourcemanager.ad- dress</name> <value>master:8050</value> </property> </configuration>

Source Code 4.6 Setting PC Master

1. Clone PC Master to (PC Node1, Node2, Node3): - Lakukan hal berikut: (shutdown PC Master, lalu klik kanan, klik Clone, beri nama node1, klik Next, Pilih Linked, Klik Clone):

Gambar 4.14 Clone PC Master - Lakukan juga untuk node2 dan node3

2. Setting PC Master nidos@master:~$ sudo rm -rf

/usr/local/hadoop_tmp/ nidos@master:~$ sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode nidos@master:~$ sudo chown -R nidos:nidos /usr/local/hadoop nidos@master:~$ sudo chown -R nidos:nidos /usr/local/hadoop_tmp nidos@master:~$

Gambar 4.15 Setting PC Master

3. Setting PC Node1, Node2 dan Node3: nidos@node1:~$ sudo rm -rf

/usr/local/hadoop_tmp/ nidos@node1:~$ sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode nidos@node1:~$ sudo chown -R nidos:nidos /usr/local/hadoop_tmp/

nidos@node1:~$

Gambar 4.16 Setting PC Node1, Node2 dan Node3:

4. Setting PC Master + (PC Node1, Node2, Node3):

- Lihat IP PC Master:

Gambar 4.17 Tampilan Lihat IP Master - Setting IP PC Node1, lakukan hal berikut:

Gambar 4.18 Setting IP PC Node 1 - Setting IP PC Node2, lakukan hal berikut:

Gambar 4.19 Setting IP PC Node 2

- Setting IP PC Node3, lakukan hal berikut:

Gambar 4.20 Setting IP PC Node 3 - Restart Network disemua PC, lakukan hal berikut:

nidos@master:~$ sudo /etc/init.d/networking restart [sudo] password for nidos: nidos@master:~$ sudo reboot nidos@node1:~$ sudo /etc/init.d/networking restart [sudo] password for nidos: nidos@master:~$ sudo reboot nidos@node2:~$ sudo /etc/init.d/networking restart [sudo] password for nidos: nidos@node2:~$ nidos@node3:~$ sudo /etc/init.d/networking restart [sudo] password for nidos: nidos@master:~$ sudo reboot

Source Code 4.7 Restart Network Disemua PC - Lakukan hal berikut: Source Code 4.7 Restart Network Disemua PC - Lakukan hal berikut:

<name>dfs.replication</name> <value>3</value>

</property> <property>

<name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs

/datanode</value> </property>

</configuration>

Source Code 4.8 Setting PC Master (Node1, Node2, Node 3) Lakukan juga untuk node2 dan node3

- Lakukan hal

nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/masters

berikut:

Gambar 4.21 Tampilan nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/masters

Lakukan juga untuk node2 dan node3 - Lakukan

nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/slaves

hal

berikut:

Gambar 4.22 Tampilan nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/slaves

Lakukan juga untuk node2 dan node3 - Lakukan hal berikut:

nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml .. <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>

Source Code 4.9 Setting PC Master Lakukan juga untuk node2 dan node3

nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml .. <configuration> <property>

<name>mapred.job.tracker</name> <value>master:54311</value>

</property> </configuration>

Source Code 4.10 Setting PC Master

Lakukan juga untuk node2 dan node3 - Lakukan hal berikut:

nidos@node1:~$ sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml . . <configuration> <property>

<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

</property> <property>

<name>yarn.nodemanager.aux- services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHan dler</value> </property> <property>

<name>yarn.resourcemanager.resource- tracker.address</name> <value>master:8025</value> </property> <property>

<name>yarn.resourcemanager.scheduler.addre ss</name> <value>master:8030</value> </property> <property>

<name>yarn.resourcemanager.address</name> <value>master:8050</value>

</property> </configuration>

Source Code 4.11 Setting PC Master

Lakukan juga untuk node2 dan node3

- Call ssh, lakukan hal berikut: - Call ssh, lakukan hal berikut:

::1 ip6-allrouters master fe00::0 ip6-localhost node1 ff00::0 ip6-localnet node2 ff02::1 ip6-loopback node3 ff02::2 ip6-mcastprefix ubuntu ip6-allnodes localhost

nidos@master:~$ ssh node1 ssh: connect to host node1 port 22: No route to host nidos@master:~$

Source Code 4.12 Call SSH Jika hasil ssh seperti diatas maka solusinya adalah cek status ssh

sebagai berikut: Solusi (cek status ssh  OK ):

nidos@master:~$ sudo service ssh status [sudo] password for nidos: ssh start/running, process 790

Source Code 4.13 Cek Status SSH Ok Solusi (cek status ssh Error): nidos@node1:~$ sudo service ssh

status [sudo] password for nidos:

Source Code 4.14 Cek Status SSH Error

Jika muncul: ssh: unrecognized service, maka solusinya re-in- stall ssh dan cek status

Solusi (re-install ssh, dan cek status OK ): nidos@node1:~$

sudo

apt-get remove

openssh-client openssh-server nidos@node1:~$

sudo

apt-get install

openssh-client openssh-server nidos@node1:~$ sudo service ssh status ssh start/running, process 3100

Source Code 4.15 Re-install SSH dan Cek Status OK Lakukan juga untuk node2 dan node3

- Call ssh untuk node 2, lakukan hal berikut: nidos@master:~$ ssh Lalu tekan tombol Tab

::1 ip6-allrouters master fe00::0 ip6-localhost node1 ff00::0 ip6-localnet node2 ff02::1 ip6-loopback node3 ff02::2 ip6-mcastprefix ubuntu ip6-allnodes localhost

nidos@master:~$ ssh node2 ssh: connect to host node2 port 22: No route

to host nidos@master:~$

Source Code 4.16 Call SSH untuk Node 2

Jika hasil ssh seperti diatas maka solusinya adalah cek status ssh sebagai berikut:

Solusi (cek status ssh  OK ): Solusi (cek status ssh  OK ):

ssh start/running, process 790

Source Code 4.17 Cek Status SSH Ok Solusi (cek status ssh Error):

nidos@node1:~$ sudo service ssh status [sudo] password for nidos:

Source Code 4.18 Cek Status SSH Error Jika muncul: ssh: unrecognized service, maka solusinya re-in-

stall ssh dan cek status Solusi (re-install ssh, dan cek status OK ):

nidos@node2:~$ sudo apt-get remove openssh- client openssh-server

nidos@node2:~$ sudo apt-get install openssh- client openssh-server

nidos@node2:~$ sudo service ssh status

ssh start/running, process 3084

Source Code 4.19 Re-Install SSH dan Cek Status Lakukan juga untuk node3

- Call ssh untuk node 3, lakukan hal berikut: nidos@master:~$ ssh

Lalu tekan tombol Tab

::1 ip6-allrouters master fe00::0 ip6-localhost node1 ff00::0 ip6-localnet node2 ff02::1 ip6-loopback node3 ff02::2 ip6-mcastprefix ubuntu ip6-allnodes localhost

Source Code 4.20 Call SSH untuk Node 3 Source Code 4.20 Call SSH untuk Node 3

to host nidos@master:~$

Source Code 4.21 Call SSH untuk Node 3 Cont.

Jika hasil ssh seperti diatas maka solusinya adalah cek status ssh sebagai berikut:

Solusi (cek status ssh  OK ): nidos@master:~$ sudo service ssh status

[sudo] password for nidos: ssh start/running, process 790

Source Code 4.22 Cek Status SSH Ok Solusi (cek status ssh Error): nidos@node1:~$ sudo service ssh

status [sudo] password for nidos:

Source Code 4.23 Cek Status SSH Error Jika muncul: ssh: unrecognized service, maka solusinya re-in-

stall ssh dan cek status Solusi (re-install ssh, dan cek status OK ):

nidos@node3:~$ sudo apt-get remove openssh- client openssh-server

nidos@node3:~$ sudo apt-get install openssh- client openssh-server

nidos@node3:~$ sudo service ssh status

ssh start/running, process 3087

Source Code 4.24 Re-Install SSH dan Cek Status

- Solusi untuk

connect to host master/node1/node2/node3 port 22: No route to host”, lakukan hal berikut:

error

“ssh:

nidos@master:~$ sudo iptables -P INPUT ACCEPT (to accept all incoming traffic) nidos@master:~$ sudo iptables -F (Clear/flush/remove rule of my iptables)

Source Code 4.25 Solusi untuk error “ssh: connect to host master/node1/node2/node3 port 22: No route to host”

shutdown all PC, ubah setting network pada virtual box (Pilih misal klik PC master , lalu klik Network )

Gambar 4.23 Tampilan Ubah Setting Network pada Virtual Box Kemudian pada Adapter 1, pilih “Internal Network”, lalu klik OK)

Gambar 4.24 Tampilan pada Adapter 1

Lakukan juga untuk node1, node2 dan node3 - Coba call lagi ssh-nya node1 dari master, lakukan hal berikut:

nidos@master:~$ ssh node1 / nidos@master:~$ ssh 192.168.2.117

The authenticity of host 'node1 (192.168.2.117)' can't be established. ECDSA key fingerprint is 87:d8:ac:1e:41:19:a9:1d:80:ab:b6:2c:75:f9:27:8

5. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'node1' (ECDSA) to the list of known hosts. nidos@node1's password: Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

* Documentation: https://help.ubuntu.com/ New release '16.04.1 LTS' available. Run 'do-release-upgrade' to upgrade to it. Last login: Sat Dec 3 13:16:28 2016 from mas- ter nidos@node1:~$ exit logout

Source Code 4.26 Call SSH Node 1 dari Master Lakukan juga untuk mencoba call ssh-nya node2 dari master

dan call ssh-nya node3 dari master

Gambar 4.25 Tampilan Call SSH

- Coba call ssh-nya master dari node1, lakukan hal berikut:

nidos@node1:~$ ssh master/ nidos@node1:~$ ssh 192.168.2.116

nidos@master's password: Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

* Documentation: https://help.ubuntu.com/ 631 packages can be updated. 331 updates are security updates. Last login: Sat Dec 3 13:27:54 2016 from

Source Code 4.27 Call SSH-nya Master dari Node 1 Lakukan juga untuk mencoba call ssh-nya node2 dari master

dan call ssh-nya node3 dari master

Gambar 4.26 Tampilan Call SSH

5. Format namenode dari PC Master: nidos@master:~$ hdfs namenode –format

Gambar 4.27 Format Namenode dari PC Master - Copy ssh-id dari PC Master ke semua PC Node:

nidos@master:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub nidos@node1 nidos@master:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub nidos@node2 nidos@master:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub nidos@node3 atau dengan perintah seperti berikut: nidos@master:~$ ssh-copy-id nidos@node1 nidos@master:~$ ssh-copy-id nidos@node2 nidos@master:~$ ssh-copy-id nidos@node3

Source Code 4.28 SSH ID dari PC Master Now you will be able to ssh without password.

- start-dfs.sh lalu start-yarn.sh (atau dengan start-all.sh) dari PC Master: nidos@master:~$ start-dfs.sh

Gambar 4.28 Tampilan star start-dfs.sh nidos@master:~$ start-yarn.sh

Gambar 4.29 Tampilan Start-yarn.sh

- Buka firefox “http://localhost:50070”:

Gambar 4.30 Tampilan http://localhost:50070 di Firefox

Gambar 4.31 Tampilan Datanode Information di Firefox - Buka firefox “http://localhost:50090/status.html”:

Gambar 4.32 Tampilan http://localhost:50090/status.html di Fire-

fox

- Buka firefox “http://localhost:8088/cluster”:

Gambar 4.33 Tampilan http://localhost:8088/cluster di Firefox

Gambar 4.34 Tampilan Nodes Of the Cluster pada Firefox

6. Membuat Directories di HDFS harus satu demi satu: - Lakukan hal berikut: 6. Membuat Directories di HDFS harus satu demi satu: - Lakukan hal berikut:

Found 1 items

Source Code 4.29 Membuat Directories di HDFS

drwxr-xr-x - nidos supergroup

Dokumen yang terkait

FREKWENSI PESAN PEMELIHARAAN KESEHATAN DALAM IKLAN LAYANAN MASYARAKAT Analisis Isi pada Empat Versi ILM Televisi Tanggap Flu Burung Milik Komnas FBPI

10 189 3

Analisis Sistem Pengendalian Mutu dan Perencanaan Penugasan Audit pada Kantor Akuntan Publik. (Suatu Studi Kasus pada Kantor Akuntan Publik Jamaludin, Aria, Sukimto dan Rekan)

136 695 18

Representasi Nasionalisme Melalui Karya Fotografi (Analisis Semiotik pada Buku "Ketika Indonesia Dipertanyakan")

53 338 50

Analisis Penyerapan Tenaga Kerja Pada Industri Kerajinan Tangan Di Desa Tutul Kecamatan Balung Kabupaten Jember.

7 76 65

Analisis Pertumbuhan Antar Sektor di Wilayah Kabupaten Magetan dan Sekitarnya Tahun 1996-2005

3 59 17

Analisis tentang saksi sebagai pertimbangan hakim dalam penjatuhan putusan dan tindak pidana pembunuhan berencana (Studi kasus Perkara No. 40/Pid/B/1988/PN.SAMPANG)

8 102 57

Analisis terhadap hapusnya hak usaha akibat terlantarnya lahan untuk ditetapkan menjadi obyek landreform (studi kasus di desa Mojomulyo kecamatan Puger Kabupaten Jember

1 88 63

Dominating Set Dan Total Dominating Set Dari Graf-Graf Khusus

5 80 24

Identifikasi Jenis Kayu Yang Dimanfaatkan Untuk Pembuatan Perahu Tradisional Nelayan Muncar Kabupaten Banyuwangi dan Pemanfaatanya Sebagai Buku Nonteks.

26 327 121

Integrated Food Therapy Minuman Fungsional Nutrafosin Pada Penyandang Diabetes Mellitus (Dm) Tipe 2 Dan Dislipidemia

5 149 3