Model Pengunduh Data HASIL DAN PEMBAHASAN

52

4.2 Model Pengunduh Data

Pengunduh yang digunakan pada penelitian ini adalah wget. Wget menggunakan script untuk menjalankan fungsi unduh yang spesifik sesuai yang kita inginkan. Wget bekerja di bawah proxy yang telah diatur oleh DKSI-IPB, sebelum wget digunakan untuk proses pengunduhan diperlukan seting pada wget untuk dapat bekerja di bawah proxy, seperti berikut:  Buka file wgetrc yang merupakan file untuk konfigurasi wget yang berada di direktori ~.wgetrc perintah yang digunakan adalah sudo ~.wgetrc  File wgetrc berisi baris baris konfigurasi untuk wget bagian yang diperlukan untuk setting proxy adalah: 1. You can set the default proxies for Wget to use for http, https, and ftp. 2. They will override the value in the environment. 3. https_proxy = http:proxy.yoyodyne.com:18023 4. http_proxy = http:proxy.yoyodyne.com:18023 5. ftp_proxy = http:proxy.yoyodyne.com:18023 6. 7. If you do not want to use proxy at all, set this to off. 8. use_proxy = on Baris code di atas yang harus dirubah menjadi setting yang tepat dengan jaringan yang dipakai. 1. You can set the default proxies for Wget to use for http, https, and ftp. 2. They will override the value in the environment. 3. https_proxy = 172.17.0.11 : 8080 4. http_proxy = 172.17.0.11 : 8080 5. ftp_proxy = 172.17.0.11 : 8080 6. If you do not want to use proxy at all, set this to off. 7. use_proxy = on 53 Simpan file dan tutup, setelah melakukan konfigurasi ini maka wget siap digunakan untuk proses unduh data. Wget merupakan pengunduh yang bekerja dengan kode perintah agar wget dapat melakukan penunduhan sesuai yang diinginkan. Pada penelitian ini ada beberapa kode perintah yang digunkan sebagai berikut:. 1. wget -nd -A bz2 -r - nc -np -c –P homeaditridcIfermerwindblendeddatabz2 ftp:ftp.ifremer.frifremercersatproductsgriddedmwf- blendeddata 6 -hourly Penjelasan perintah yang digunakan:  Pada script di atas perintah diawali dengan wget, ini merupakan perintah dasar untuk menjalankan suatu program di terminal OS linux di ubuntu.  -nd --no-directories digunakan supaya saat mengunduh semua isi dari website tidak mengambil parent direktori. Contoh ftp:ftp.ifremer.frifremercersatproducts jika mengunduh link di atas tanpa menggunakan –nd maka semua file yang berada di bagian ftp.ifremer.fr, ifremer, cersat, dan products akan diunduh semuanya ini akan memakan banyak waktu.  -A bz2 perintah ini digunakan untuk mengunduh hanya file berkekstensi .bz2 jika tidak menggunakan perintah ini maka wget akan mengunduh semua file berekstensi apapun, ini akan memperlama proses penunduhan karena banyak file yang tidak kita perlukan ikut terunduh dan memakan banyak ruang di hardisk. 54  -r --recursive mengaktifkan pengunduhan recursive, pengunduhan recursive adalah mengunduh semua link yang terhubung dalam suatu website.  -nc --no-clobber perintah ini digunakan agar tidak ada file yang sama dalam satu direktori. Ini berguna karena pada saat script bekerja secara terus menerus memantau sebuah website penyedia data, data yang sudah di unduh akan dilewati.  -np --no-parent perintah ini digunakan untuk mengunduh hanya direktori terakhir dari link yang di berikan contoh pada link ftp:ftp.ifremer.frifremercersatproductsgriddedmwf- blendeddata6-hourly maka direktori yang didownlad hanya yang terakhir yaitu 6-Hourly. Karena data yang diperlukan ada didalam direktori tersebut.  -c continue digunakan untuk melanjutkan unduh sampai file tersebut selesai diunduh jika file tersebut belum selesai di unduh maka wget tidak akan berlanjut ke file yang lain sampai percobaan 11 kali.  P homeaditridcIfermerwindblendeddatabz2 perintah ini digunakan untuk menspesifikan direktori untuk menyimpan hasil unduh. 55  ftp:ftp.ifremer.frifremercersatproductsgriddedmwf- blendeddata6-hourly yang terakhir ini adalah link website yang dituju. Gambar 17. Contoh proses pengunduhan data yang error. Gambar 17 diatas merupakan gambar proses pengunduhan data yang sedang berlangsung. File hasil unduh raw data disimpan di direktori “mediaaditrimyresearchdataIFREMER_CERSATWIND_BlendedEcmwfdata _worldbz2data_beres ” seperti terlihat pada Gambar 18. 56 Gambar 18. Tempat penyimpanan raw data di lokal komputer Data yang digunakan dalam penelitian ini berasal dari tahun 2006 sampai 2009 dan disusun menurut tahun pada direktori seperti terlihat pada Gambar 18. Wget bekerja secara otomatis mengunduh data di startup OS Operating system. Namun untuk membuatnya bekerja secara otomatis diperlukan script tersendiri untuk menjadikannya bagian dalam subsistemstartup. Crontab merupakan utility di unix dan linux untuk membuat pekerjaan bekerja dengan otomatis. Berikut script untuk crontab: 1. Unduh.sh 2. wget -nd -A bz2 -r - nc -np -c -P homeaditridcIfermerwindblendeddatabz2 --retry- connrefused – pengguna agent= autounduher ftp:ftp.ifremer.frifremercersatproductsgriddedmwf- blendeddata6-hourly Code di atas merupakan file yang berisi perintah pengunduhan yang ingin dijalankan di startup. Ekstensi yang digunakan adalah .sh yang meupakan file 57 executable. Selanjutnya adalah melihat jadwal yang ada didalam crontab dengan perintah dibawah ini: sudo crontab -i Selanjutnya adalah memasukan file unduh.sh dalam list pekerjaan di dalam crontab, dengan menggunan perintah dibawah : sudo crontab -e Perintah crontab-e akan membuka semua pekerjaan yang ada di crontab menggunakan tekt editor yang default pada subsistemOS. Selanjutnya menambahkan satu line yang berisi perintah pekerjaan untuk crontab : reboot homeaditriunduh.sh Perintah reboot merupakan code yang digunakan untuk menyatakan waktu script akan dijalankan setelah perintah di atas selesai ditambahkan, save file lalu close. Yang terakhir dilakukan adalah membuat sile yang berisi log dari script yang kita jalankan pada crontab. daily homeaditriunduh.sh 21 homeadtrilogunduhdata.log Script diatas menggunakan daily ini menandakan bahwa log akan disimpan setiap satu hari dan disimpan dalam bentuk file pada direktori homeadtrilogunduhdata.log. 58

4.3 Pengolahan Data