WEB MINING ON INDONESIA E COMMERCE SITE
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
WEB MINING ON INDONESIA E-COMMERCE SITE
Humasak Simanjutak1, Novitasari Sibarani2, Bambang Sinaga3, Novalina Hutabarat4
Del Institute of Technology
Jl. Sisingamangaraja Desa Sitoluama Laguboti
Telp. (0632) 331234, Faks. (0632) 331116
E-mail: humasak@del.ac.id, if11001@students.del.ac.id, if11013@students.del.ac.id,
if11052@students.del.ac.id
ABSTRAK
E-commerce site telah berkembang dengan sangat pesat karena e-commerce site memungkinkan seseorang
untuk berbelanja secara online dengan mudah dan cepat tanpa harus bertemu dengan penjual secara langsung.
Setiap e-commerce site menyediakan berbagai jenis produk, seperti sandang, pangan, perabotan rumah tangga,
alat-alat elektronik dan aksesoris. Keinginan customer untuk memperoleh produk dan harga yang sesuai
mengakibatkan customer harus mengunjungi beberapa e-commerce site. Oleh karena itu, dibutuhkan adanya
sebuah website atau site summary yang dapat menampilkan produk dari beberapa e-commerce site. Site
summary dapat menampilkan data produk dari beberapa e-commerce site sehingga dapat membantu pengguna
untuk mencari produk yang diinginkannya dengan mudah. Site summary yang dibangun menerapkan web
content mining dengan teknik web data extraction yang akan menghasilkan file-file Html. Dan terdapat
beberapa proses tambahan yaitu proses parsing file Html menggunakan library Jericho Html Parser dan proses
penyimpanan data hasil parsing tersebut ke basis data dasite summaryn proses menampilkan data dalam
Dengan proses ini, data yang sebelumnya ditampilkan pada website masing-masing, saat ini sudah ditampilkan
pada sebuah site yang disebut site summary.
Kata Kunci: e-commerce site, site summary, parsing, web content mining, online
E-commerce site has grown rapidly since it allows someone to shop online quickly and easily without having to
meet the seller directly. Every e-commerce site provides many kinds of products, such as clothes, food, furniture,
electronic tools, and accessories. But online e-commerce site transactions also sometimes not effective for users
to find products needs and has appropriate price. Therefore, we need a website or site summary that can display
product summary from several e-commerce site. That site summary can display products data from several ecommerce site so it can help user to find products needs easily. Site summary built with implement web content
mining by using web data extraction technique that can produce Html files. Then, there are some additional
process such as parsing Html files using library Jericho Html Parser, saving data into database and then
displayed data into a site summary. By using all these process, data from several e-commerce site now can be
displayed on a site called site summary.
1. PENDAHULUAN
1.1 Latar Belakang
Perkembangan
Teknologi
Informasi
dan
Komunikasi saat ini telah mengubah perilaku
masyarakat maupun peradaban manusia secara
global. Perkembangan tersebut juga menyebabkan
hubungan dunia menjadi tanpa batas dan
menyebabkan terjadi perubahan sosial, ekonomi, dan
budaya yang secara signifikan berlangsung cepat.
Salah satu contoh adalah banyak e-commerce site
yang memungkinkan seseorang berbelanja secara
online dengan mudah dan cepat tanpa harus bertemu
dengan penjual secara langsung. Masing-masing ecommerce site menyediakan berbagai jenis produk,
seperti sandang, pangan, perabotan rumah tangga,
alat-alat elektronik dan aksesoris.
Pada saat ini, banyak e-commerce site
menawarkan produk dengan harga, deskripsi,
discount, dan merk yang sama, namun dengan
kualitas yang berbeda sehingga pembeli cenderung
mengunjungi beberapa e-commerce site untuk
memperoleh perbandingan setiap data produk sesuai
dengan yang diinginkan. Hal ini memberikan
kesulitan bagi pembeli karena harus mengunjungi
beberapa e-commerce site sehingga membutuhkan
waktu yang lebih lama. Dalam menangani hal
tersebut, maka dibutuhkan suatu site yang
menyediakan summary dari beberapa e-commerce
site. Site summary ini bertujuan untuk membantu
pembeli dalam membuat keputusan ketika
melakukan transaksi online.
Google Shopping merupakan site summary yang
menyediakan produk-produk dari beberapa online
store, antara lain Shop, ArtFire eBay dan Newegg.
Setiap online store tersebut memiliki e-commerce
site masing-masing. Sehingga pada setiap produk
yang ditawarkan di Google Shopping memiliki
keterangan mengenai e-commerce site penyedia
produk tersebut. Hal tersebut mempermudah
pembeli dalam berbelanja online karena pembeli
tidak perlu mengunjungi site dari setiap online store
tersebut satu per satu.
Di Indonesia belum terdapat e-commerce site
seperti Google Shopping.com, khususnya untuk site
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
summary dari e-commerce site Indonesia. Oleh
karena itu, pengerjaan tugas akhir ini diharapkan
dapat menghasilkan suatu site summary yang
membantu para pengunjung e-commerce site
Indonesia dalam berbelanja seperti yang ada pada
Google Shopping. Beberapa cara yang digunakan
untuk menghasilkan site summary adalah dengan
cara melakukan Web Content Mining dan Web
Mash-Up.
Dalam tugas akhir ini teknik yang dilakukan
untuk menghasilkan site summary adalah Web
Content Mining, dimana teknik ini akan melakukan
mining terhadap beberapa e-commerce site Indonesia
sehingga akan menghasilkan suatu site yang berisi
rangkuman perbandingan data dari e-commerce site
tersebut. Informasi yang diperoleh dari hasil mining
web tersebut antara lain merk, harga dan kategori
produk dari beberapa e-commerce site Indonesia.
1.2 Metode Penelitian
Dalam penelitian yang dilakukan terhadap ecommerce site menggunakan teknik web content
mining, dilakukan beberapa metode antara lain:
1. Literatur studi
Pencarian dan pengumpulan referensi yang
berhubungan dengan web mining, web content
mining, web mash-up, parser html dan ecommerce site.
2. Analisis dan Desain
Analisis penerapan web content mining pada
beberapa e-commerce site Indonesia dan
mendesain aplikasi site summary.
3. Implementasi
Implementasi dilakukan untuk membangun
aplikasi dan visualisasi yang menjadi summary
dari beberapa e-commerce site.
Keterangan gambar:
1. Proses Parsing
Parsing merupakan proses yang dilakukan
pada untuk mendapatkan data yang dibutuhkan
untuk ditampilkan pada view site summary.
Data yang diparsing meliputi nama produk,
harga produk, detil produk, gambar produk dan
spesifikasi produk. Parsing dilakukan dengan
menggunakan library Jericho Html Parser.
2. Menyimpan Data
Data hasil parsing yang meliputi nama produk,
harga produk, detil produk, gambar produk,
deskripsi produk, spesifikasi produk disimpan
pada sebuah database.
2. View Site Summary
Data yang telah berhasil disimpan pada
database selanjutnya akan ditampilkan pada
suatu
site
summary.
Site
summary
menampilkan data produk dari dua ecommerce site Lazada dan Rakuten yang telah
berhasil disimpan.
2.2 Analisis Terhadap Struktur Tag: Lazada
dan Rakuten
Pada pengerjaan penelitian ini dibutuhkan dua ecommerce site yang memiliki struktur layout dan tag
yang mirip. Kemiripan dapat dilihat dari content dan
struktur yang dimiliki oleh kedua e-commerce site.
Pada bagian ini ditunjukkan hasil analisis terhadap
struktur tag dan layout dua e-commerce site, yaitu
Lazada dan Rakuten. Kedua e-commerce siste
Lazada dan Rakuten memiliki struktur layout yang
sama. Struktur layout dari kedua e-commerce site
dapat dilihat pada Gambar
2. ANALISIS
2.1 Analisis Terhadap Proses Web Content
Mining
Berdasarkan hasil studi literatur mengenai web data
extraction, output dari web data extraction berupa
file HTML belum dapat digunakan untuk membuat
site summary. Oleh karena itu, dibutuhkan proses
tambahan meliputi parsing, simpan data dan view
site summary. Secara detil, proses web content
mining tersebut dapat dilihat pada Gambar .
Keterangan gambar:
a. Pada angka 1 menunjukkan header dari ecommerce site Lazada. Pada bagian ini terdapat
logo Lazada, dan beberapa link terkait dengan
Lazada. Link tersebut berisi informasi-informasi
terkait lazada, antara lain pembayaran,
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
pengiriman dan jaminan yang diberikan Lazada
kepada pembeli.
b. Pada angka 2 disebut sidebar yang berisi
kategori produk yang terdapat dalam Lazada,
misalnya Komputer dan Laptop, Otomotif,
Kamera dan Fashion.
c. Pada angka 3 ditampilkan iklan-iklan produk
Lazada dalam bentuk slide. Pada umumnya,
bagian ini berisi produk-produk baru yang
ditawarkan oleh Lazada.
d. Pada angka 4 ditampilkan iklan-iklan produk
Lazada yang diberi sale. Sehingga pembeli
dapat melihat produk-produk yang sedang
murah.
e. Pada angka 5 disebut footer . Footer pada ecommerce site Lazada berisi informasi
mengenai Lazada, layanan bagi pelanggan,
metode pembayaran dan kategori brand pilihan.
Dari hasil analisis struktur kedua e-commerce site
yaitu Lazada dan Rakuten, maka dapat diambil
kesimpulan antara lain:
1. Struktur e-commerce site Lazada dan Rakuten
memiliki kemiripan yaitu memiliki struktur
antara lain:
a. Header yang berisi logo ataupun nama dari ecommerce site.
b. Sidebar yang berisi kategori-kategori produk
yang dijual di e-commerce site tersebut.
c. Content berisi iklan maupun produk-produk
yang dijual di e-commerce site tersebut.
d. Footer berisi infomasi mengenai e-commerce
site dan cara pembayaran yang dilakukan.
2. Berdasarkan jenis-jenis kategori produk yang
dimiliki oleh kedua e-commerce site maka
diperoleh:
a. Kategori produk yang sama pada kedua ecommerce site antara lain: handphone, tablet,
kamera, elektronik, peralatan rumah tangga,
komputer,
fashion,
kecantikan,
bayi,
kesehatan, otomotif, mainan, olahraga dan
musik.
b. Kategori produk yang hanya ada pada Lazada
yaitu tas koper, sedangkan produk yang
hanya ada pada Rakuten yaitu makanan dan
minuman, bunga tanaman, serta buku dan alat
tulis. Sehingga dari keterangan diatas
diperoleh empat kategori yang berbeda yaitu
sekitar 20 %.
Maka berdasarkan persamaan dan perbedaan kedua
e-commerce site tersebut diperoleh persentase
kategori produk yang sama yaitu sekitar 80 %. Hal
demikian dapat dilihat dari kategori-kategori produk
yang dijual pada kedua e-commerce site tersebut.
Sedangkan untuk perbedaan struktur tag antara
kedua e-commerce site dapat dilihar pada Tabel.
No
1
Struktur
Tag
Tag Box
Lazada
Rakuten
-
2.3 Analisis Terhadap Web Content Mining dan
Web Mash-up
Perbedaan antara web mash-up dan web content
mining dapat dilihat pada Tabel
No
1
Jenis
Perbedaan
Penggunaan
API
2
3
4
Penggunaan
Input
Output
5
Cara
memperolehnya
Web MashUp
Web Content
Mining
Menggunakan
API
Tidak
menggunakan
API
Offline
URL
Site summary
offline
Open source
Online
URL
Site summary
online
Berbayar
Berdasarkan hasil analisis terhadap perbandingan
web mash-up dan web content mining , maka
diperoleh beberapa hal, diantaranya:
a. Web mash-up menggunakan data online
sedangkan dalam pengerjaan tugas ini
menggunakan data offline dikarenakan bahwa
data online membutuhkan koneksi ke Internet.
b. Web mash-up merupakan layanan yang
digunakan secara berbayar sehingga sulit untuk
menggunakannya.
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
2.4 Analisis Terhadap Web Crawling
Web crawling merupakan Proses menyalin sebagian
atau seluruh isi dari website ke local disk komputer.
Proses ini dilakukan untuk proses analisis dan
pengambilan data yang lebih cepat. Terdapat
beberapa tools atau sering disebut web crawler yang
dapat menyalin isi website ke local disk antara lain
Visual Web Spider, Visual Web Ripper, Win Web
Crawler dan HTtrack. Berikut beberapa perbedaan
yang diperoleh dari keempat web crawler tersebut.
Berdasarkan hasil analisis terkait keempat web
crawler
tersebut
maka
diputuskan
untuk
menggunakan HTtrack sebagai web crawler karena
beberapa alasan berikut:
1. HTtrack merupakan tools yang open source
sedangkan tools lain tidak open source.
2. HTTrack menghasilkan output berupa file dan
folder yang dapat disimpan dalam direktori lokal
karena telah berubah menjadi data yang offline.
3. Selain dapat menghasilkan data yang offline,
HTTrack juga dapat digunakan secara berulangulang karena sifatnya yang open source. Hal
demikian karena dalam proses pengerjaan
dibutuhkan untuk dapat melakukan crawling
selama beberapa kali sesuai kebutuhan.
Hasil dari menggunakan Httrack sebagai web
crawler adalah sebagai berikut.
1. Menghasilkan folder yang berisi file-file berupa
image, dokumen .txt, file css dan sebuah
index.html, hts-log.txt, cookies.xt, backblue.gif
dan fade.gif serta root directory.
2. Root directory merupakan folder yang berisi
informasi terkait produk. Di dalam root
directory terdapat beberapa file html yang
memiliki penamaan sama dengan nama produk
atau item yang terdapat pada website tersebut.
3. Di dalam root directory juga terdapat folder
images yang khusus menyimpan icon dan
shortcut dari setiap file html didalamnya.
4. Menghasilkan file index.html pada folder utama
website
yang
di-crawling
yang akan
menampilkan halaman utama dari website dan
berisi semua kategori produk yang tersedia.
5. Setiap folder yang memiliki nama sesuai nama
kategori produk memiliki satu file index.html
dan beberapa folder lain. File index.html
digunakan untuk menampilkan setiap halaman
sesuai kategori pada website online-nya.
Hasil crawling dengan HTtrack dapat digambarkan
sebagai berikut.
Keterangan gambar:
A. Root folder hasil crawling
B. File (index.html, backblue, cookies, fade, htslog)
C. Folder gambar
D. Folder configuration (hts-cache)
E. Folder
yang
memuat
isi
website
(ajax.googleleapis.com,
apis.google.com,
assets.pinterest.com,
lh3.gppgleusercontent.com)
F. Kategori dan subkategori folder
G. File (index dan detil produk)
2.5 Analisis Terhadap HTML Parser: Jericho
HTML Parser
Jericho HTML Parser merupakan salah satu contoh
HTML Parser yaitu suatu library pada Java untuk
analisis dan manipulasi terhadap suatu tag html
sehingga dapat diperoleh data yang diingin dari
halaman html tanpa harus mengambil semua data
yang terdapat pada halaman tersebut atau disebut
dengan parsing.
Library Jericho Html Parser melakukan parsing
berdasarkan tag css. Library ini dapat mengambil
data sesuai data yang dibutuhkan, maksudnya adalah
sebagai berikut:
1. Jericho Html Parser dapat mengambil data dari
isi
tag
tertentu
seperti
“Kamera, maka data yang
diambil adalah Kamera.
2. Jericho Html Parser dapat melakukan
modifikasi terhadap data yang telah diambil
dengan menambah tag tertentu pada konten
yang ingin dimodifikasi dan menghapus tag
tertentu yang tidak dibutuhkan.
Berikut adalah kelas-kelas yang disediakan oleh
library Jericho Html Parser dengan fungsi yang
berbeda-beda untuk mempermudah pada proses
parsing.
1. DisplayAllElemenyts.java
kelas ini menunjukkan perilaku library ketika
mengambil semua elemen dari sebuah dokumen
yang berisi campuran HTML normal, berbagai
jenis tag server dan format HTML yang buruk.
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
2. FindSpesificTags.java
kelas ini dibangun untuk mencari tag dengan
nama tertentu, dalam namespace tertentu, atau
tag khusus seperti deklarasi tipe dokumen,
deklarasi XML, instruksi pemrosesan XML, tag
PHP, tag Mason, dan komentar HTML.
3. ExtractText.java
kelas ini menunjukkan penggunaan kelas Text
Extractor yang mengekstrak semua teks dari
dokumen, judul, deskripsi, kata kunci dan link.
4. RenderToText.java
kelas ini menunjukkan penggunaan kelas
Renderer yang melakukan render teks sederhana
dari HTML, mirip dengan cara Mozillla
Thunderbird dan klien email lainnya untuk
melakukan konversi otomatis dari konten HTML
teks dalam alternatif pengkodean MIME email
mereka.
5. HTMLSanitiser.java
kelas ini menunjukkan bagaimana membersihkan
tag HTML yang tidak diinginkan atau tidak
valid.
6. FormControlDisplayCharacteristics.java
kelas ini menunjukkan pengaturan karakteristik
tampilan dari form control. Hal ini
memungkinkan sebuah kontrol dinonaktifkan,
dihapus, atau diganti dengan representasi teks
biasa dari nilainya. Dokumen baru ditulis ke
sebuah file dengan nama NewForm.html
7. FormFieldCSVOutput.java.
kelas ini menunjukkan penggunaan metod
FormFields.getColumnValues(Map)
untuk
menyimpan data formulir dalam file.csv, secara
otomatis, membuat kolom terpisah untuk fieldfield yang berisi beberapa nilai (seperti kotak
centang) . Output ditulis ke sebuah file yang
bernama FormData.csv.
8. FormFieldList.java
kelas ini menunjukkan penggunaan method
Segment.findFormFields() untuk mendaftarkan
semua kolom field dan kontrolnya yang terkait
dalam sebuah dokumen.
9. FormatSource.java
kelas ini menunjukkan penggunaan kelas
SourceFormatter yang melakukan format
terhadap kode HTML dengan meletakkan setiap
elemen non-inline-level pada baris baru dengan
indent yang tepat. Kelas ini juga dikenal sebagai
"source beautifier".
10. CompactSource.java
kelas ini menunjukkan penggunaan kelas
SourceCompactor untuk menghapus semua spasi
yang tidak perlu pada kode HTML.
11. Encoding.java
kelas ini menunjukkan penggunaan kelas
EncodingDetector dan bagaimana menentukan
encoding dari sumber dokumen.
12. SplitLongLines.java
kelas ini menunjukkan bagaimana cara untuk
melakukan format dokumen sehingga garis yang
melebihi jumlah karakter tertentu dibagi menjadi
beberapa baris.
3. IMPLEMENTASI
3.1 Implementasi
Implementasi yang dilakukan pada pengerjaan
site summary dapat dilihat pada gambar flow chart
berikut ini.
Start
Persiapan Web Crawler
TTrack
URL Website
Crawling Web
Offline Data
Hasil Parsing
Parsing
Tag HTML
Simpan Hasil
Parsing ke Database
View Site Summary
End
Keterangan gambar.
Berdasarkan gambar tersebut terlihat bahwa terdapat
empat proses yang dilakukan secara bertahap yaitu:
1. Crawling Web
Tahap ini merupakan proses awal yang harus
dilakukan yaitu melakukan crawling terhadap
website yang akan digunakan kontennya pada
site summary dengan menggunakan web crawler
HTrack. Inputan untuk web crawler HTtrack
adalah url dari website yang akan dicrawling dan
hasilnya adalah data offline dari website tersebut.
2. Parsing
Tahap parsing merupakan proses untuk
mengambil konten dari hasil crawling untuk
ditampilkan pada site summary. Pada proses ini
yang menjadi inputan adalah tag html dari
konten yang akan ditampilkan pada site
summary.
3. Simpan Hasil Parsing ke Database
Setelah proses parsing selesai dilakukan, maka
proses selanjutnya alah menyimpan hasil parsing
ke dalam sebuah database.
4. View Site Summary
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
Proses view site summary merupakan proses
akhir yaitu proses untuk menampilkan data dari
database ke sebuah site summary.
4. HASIL DAN PEMBAHASAN
4.1 Hasil dan Pembahasan HTtack
Beberapa hal penting dalam proses crawling
dengan menggunakan HTrack adalah:
1. Proses crawling dilakukan terhadap dua ecommerce site Indonesia dengan keterangan
sebagai berikut.
a. E-commerce site Lazada dengan jumlah file
12503 file dan jumlah folder sebanyak 22013
folder.
b. E-commerce site Rakuten dengan jumlah file
7368 file dan jumlah folder sebanyak 10747
folder.
2. Inputan untuk HTtrack ini adalah alamat website
yang akan dicrawling yang kemudian akan
disimpan pada penyimpanan local.
3. Hasil crawling dengan menggunakan HTTrack
dapat berupa folder-folder , image, document .txt
file css, javascipt dan index.html.
4.2 Hasil dan Pembahasan Aplikasi Parsing
Beberapa hasil yang diperoleh dari aplikasi
parsing yang dibangun adalah sebagai berikut.
1. Aplikasi parsing dapat melakukan parsing
terhadap dua e-commerce site dengan keterangan
antara lain:
a. E-commerce site Lazada dengan jumlah file
5197 dan ukuran direktori sebesar 1.02 GB
b. E-commerce site Rakuten dengan junlah file
3158 dan ukuran direktori sebesar 332 Mb.
2. Aplikasi parsing ini melakukan parsing sesuai
dengan inputan css atau tag yang diminta oleh
aplikasi kepada user . Tag-tag yang digunakan
pada aplikasi parsing yaitu tag harga, nama
produk, gambar, breadcumbs, spesifikasi dan
deskripsi.
3. Aplikasi parsing membaca semua tag-tag yang
telah didefenisikan dari file index.html yang
terdapat pada root folder site yang diparsing.
4. Pada saat user memasukkan inputan css atau tag
yang diminta oleh aplikasi maka selanjutnya
aplikasi akan mengenali tag-tag atau css tersebut
dan mengambil konten yang terdapat pada tag
atau css tersebut.
5. Jika inputan yang dimasukkan oleh user adalah
inputan yang salah atau tidak sesuai dengan yang
dibutuhkan pada aplikasi, maka aplikasi tidak
dapat melakukan parsing karena parsing hanya
dapat mengenali tag atau css yang sudah
didefinisikan pada program aplikasi parsing.
6. Aplikasi parsing akan menghasilkan data yang
terstruktur ke dalam database.
4.3 Hasil dan Pembahasan Proses Penyimpanan
Data Hasil Parsing
Setelah aplikasi parsing berhasil mengenali
semua konten dari tag atau css yang dimasukkan
oleh user , maka langkah berikutnya adalah
menyimpan hasil pengambilan konten tersebut ke
dalam sebuah database. Hasil proses parsing berupa
data dan diperleh hasil dari e-commerse site Lazada
sebanyak 2892 record sedangkan pada Rakuten
sebanyak 15517 record.
Hasil record yang diperoleh tidak sebanding
dengan jumlah file yang di-parsing karena beberapa
alasan berikut ini.
1. Terdapat beberapa perbedaan tag image pada file
hasil crawling dengan tag yang didefinisikan
pada aplikasi parsing, sehingga konten dari tag
tersebut tidak dapat diparsing.
2. Terdapat 5 file index yang tidak berisi list produk
sehingga tag css yang telah didefinisikan pada
form parsing tidak ditemukan pada file ini.
4.4 Hasil dan Pembahasan Aplikasi Site
Summary
Aplikasi site summary yang dibangun dapat
menampilkan perbandingan produk pada dua ecommerce site Indonesia yang telah berhasil
diparsing sebelumnya. Aplikasi site summary dapat
menampilkan
perbandingan
produk
dengan
menerima inputan nama produk pada kotak search
kepada user . Berikut beberapa hal yang penting pada
aplikasi site summary.
1. Terdapat beberapa penamaan ketgori produk
pada kedua e-commerce site yang berbeda
sehingga
menimbulkan
kesulitan
ketika
menampilkan produk yang sejenis.
2. Berdasarkan proses yang dilakukan, site
summary ini tidak membanding produk yang
persis sama yang dimiliki oleh kedua ecommerce
site tersebut.
5. KESIMPULAN
Beberapa kesimpulan yang diperoleh dari
pengerjaan site summary ini adalah sebagai berikut.
1. Aplikasi yang dibangun telah mampu melakukan
web content mining dengan menerapkan teknik
data extraction dan HTML Parser Jericho untuk
melakukan parsing dan untuk menampilkan site
summary.
2. Proses untuk menampilkan perbandingan produk
pada kedua e-commerce site melibatkan empat
proses yaitu crawling website, parsing, simpan
hasil parsing ke dalam database dan proses
menampilkan data produk pada site summary.
PUSTAKA
Judul bagian pustaka di atas tidak diberi nomor.
Format yang digunakan adalah APA 5th, yaitu
dengan urutan penulis, judul rujukan, nama
publikasi, tempat & tahun . Format seperti ini akan
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
mudah Anda buat dengan bantuan aplikasi EndNote.
Jika aplikasi ini tidak ada di komputer Anda,
tidaklah sukar untuk menggunakan format dalam
contoh di bawah. Untuk semua pengarang, tulis
nama belakang diikuti singkatan nama tengah dan
belakang. Hanya published paper (judul buku, nama
dan nomor volume jurnal) yang ditulis miring.
Perhatikan untuk rujukan dari Internet, semua bagian
rujukan tetap ditulis lengkap. Berikut adalah contoh
penulisan daftar pustaka.
Jangan lupa mengembalikan seting Macro
Security seperti keadaan semula, setelah selesai
mengedit makalah SNATI ini.
Bonham, G. M., Seifert, J. W., dan Thorson, S. J.
(2003). The transformational potential of egovernment: the role of political leadership .
Diakses
pada
1
Mei
2003
dari
http://www.maxwell.syr.edu/maxpages/faculty/g
mbonham/ecpr.htm
de Mooij, M. (1998). Global Marketing and
Advertising: Understanding Cultural Paradoxes .
Thousand Oaks, CA: Sage Publications.
Harrison, D. A., Mykytyn, P. P., Jr., dan
Riemenschneider, C. K. (1997). Executive
decisions about adoption of information
technology in small business: theory and
empirical tests. Information System Research,
8(2), 171-195.
Hofstede, G. (1997). Cultures and Organizations:
Software of the Mind . New York: McGraw-Hill.
Katz, J. E., dan Aspden, P. (1997). A nation of
strangers. Communications of the ACM, 40 (12),
81-86.
Laguboti, 24 November 2012
WEB MINING ON INDONESIA E-COMMERCE SITE
Humasak Simanjutak1, Novitasari Sibarani2, Bambang Sinaga3, Novalina Hutabarat4
Del Institute of Technology
Jl. Sisingamangaraja Desa Sitoluama Laguboti
Telp. (0632) 331234, Faks. (0632) 331116
E-mail: humasak@del.ac.id, if11001@students.del.ac.id, if11013@students.del.ac.id,
if11052@students.del.ac.id
ABSTRAK
E-commerce site telah berkembang dengan sangat pesat karena e-commerce site memungkinkan seseorang
untuk berbelanja secara online dengan mudah dan cepat tanpa harus bertemu dengan penjual secara langsung.
Setiap e-commerce site menyediakan berbagai jenis produk, seperti sandang, pangan, perabotan rumah tangga,
alat-alat elektronik dan aksesoris. Keinginan customer untuk memperoleh produk dan harga yang sesuai
mengakibatkan customer harus mengunjungi beberapa e-commerce site. Oleh karena itu, dibutuhkan adanya
sebuah website atau site summary yang dapat menampilkan produk dari beberapa e-commerce site. Site
summary dapat menampilkan data produk dari beberapa e-commerce site sehingga dapat membantu pengguna
untuk mencari produk yang diinginkannya dengan mudah. Site summary yang dibangun menerapkan web
content mining dengan teknik web data extraction yang akan menghasilkan file-file Html. Dan terdapat
beberapa proses tambahan yaitu proses parsing file Html menggunakan library Jericho Html Parser dan proses
penyimpanan data hasil parsing tersebut ke basis data dasite summaryn proses menampilkan data dalam
Dengan proses ini, data yang sebelumnya ditampilkan pada website masing-masing, saat ini sudah ditampilkan
pada sebuah site yang disebut site summary.
Kata Kunci: e-commerce site, site summary, parsing, web content mining, online
E-commerce site has grown rapidly since it allows someone to shop online quickly and easily without having to
meet the seller directly. Every e-commerce site provides many kinds of products, such as clothes, food, furniture,
electronic tools, and accessories. But online e-commerce site transactions also sometimes not effective for users
to find products needs and has appropriate price. Therefore, we need a website or site summary that can display
product summary from several e-commerce site. That site summary can display products data from several ecommerce site so it can help user to find products needs easily. Site summary built with implement web content
mining by using web data extraction technique that can produce Html files. Then, there are some additional
process such as parsing Html files using library Jericho Html Parser, saving data into database and then
displayed data into a site summary. By using all these process, data from several e-commerce site now can be
displayed on a site called site summary.
1. PENDAHULUAN
1.1 Latar Belakang
Perkembangan
Teknologi
Informasi
dan
Komunikasi saat ini telah mengubah perilaku
masyarakat maupun peradaban manusia secara
global. Perkembangan tersebut juga menyebabkan
hubungan dunia menjadi tanpa batas dan
menyebabkan terjadi perubahan sosial, ekonomi, dan
budaya yang secara signifikan berlangsung cepat.
Salah satu contoh adalah banyak e-commerce site
yang memungkinkan seseorang berbelanja secara
online dengan mudah dan cepat tanpa harus bertemu
dengan penjual secara langsung. Masing-masing ecommerce site menyediakan berbagai jenis produk,
seperti sandang, pangan, perabotan rumah tangga,
alat-alat elektronik dan aksesoris.
Pada saat ini, banyak e-commerce site
menawarkan produk dengan harga, deskripsi,
discount, dan merk yang sama, namun dengan
kualitas yang berbeda sehingga pembeli cenderung
mengunjungi beberapa e-commerce site untuk
memperoleh perbandingan setiap data produk sesuai
dengan yang diinginkan. Hal ini memberikan
kesulitan bagi pembeli karena harus mengunjungi
beberapa e-commerce site sehingga membutuhkan
waktu yang lebih lama. Dalam menangani hal
tersebut, maka dibutuhkan suatu site yang
menyediakan summary dari beberapa e-commerce
site. Site summary ini bertujuan untuk membantu
pembeli dalam membuat keputusan ketika
melakukan transaksi online.
Google Shopping merupakan site summary yang
menyediakan produk-produk dari beberapa online
store, antara lain Shop, ArtFire eBay dan Newegg.
Setiap online store tersebut memiliki e-commerce
site masing-masing. Sehingga pada setiap produk
yang ditawarkan di Google Shopping memiliki
keterangan mengenai e-commerce site penyedia
produk tersebut. Hal tersebut mempermudah
pembeli dalam berbelanja online karena pembeli
tidak perlu mengunjungi site dari setiap online store
tersebut satu per satu.
Di Indonesia belum terdapat e-commerce site
seperti Google Shopping.com, khususnya untuk site
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
summary dari e-commerce site Indonesia. Oleh
karena itu, pengerjaan tugas akhir ini diharapkan
dapat menghasilkan suatu site summary yang
membantu para pengunjung e-commerce site
Indonesia dalam berbelanja seperti yang ada pada
Google Shopping. Beberapa cara yang digunakan
untuk menghasilkan site summary adalah dengan
cara melakukan Web Content Mining dan Web
Mash-Up.
Dalam tugas akhir ini teknik yang dilakukan
untuk menghasilkan site summary adalah Web
Content Mining, dimana teknik ini akan melakukan
mining terhadap beberapa e-commerce site Indonesia
sehingga akan menghasilkan suatu site yang berisi
rangkuman perbandingan data dari e-commerce site
tersebut. Informasi yang diperoleh dari hasil mining
web tersebut antara lain merk, harga dan kategori
produk dari beberapa e-commerce site Indonesia.
1.2 Metode Penelitian
Dalam penelitian yang dilakukan terhadap ecommerce site menggunakan teknik web content
mining, dilakukan beberapa metode antara lain:
1. Literatur studi
Pencarian dan pengumpulan referensi yang
berhubungan dengan web mining, web content
mining, web mash-up, parser html dan ecommerce site.
2. Analisis dan Desain
Analisis penerapan web content mining pada
beberapa e-commerce site Indonesia dan
mendesain aplikasi site summary.
3. Implementasi
Implementasi dilakukan untuk membangun
aplikasi dan visualisasi yang menjadi summary
dari beberapa e-commerce site.
Keterangan gambar:
1. Proses Parsing
Parsing merupakan proses yang dilakukan
pada untuk mendapatkan data yang dibutuhkan
untuk ditampilkan pada view site summary.
Data yang diparsing meliputi nama produk,
harga produk, detil produk, gambar produk dan
spesifikasi produk. Parsing dilakukan dengan
menggunakan library Jericho Html Parser.
2. Menyimpan Data
Data hasil parsing yang meliputi nama produk,
harga produk, detil produk, gambar produk,
deskripsi produk, spesifikasi produk disimpan
pada sebuah database.
2. View Site Summary
Data yang telah berhasil disimpan pada
database selanjutnya akan ditampilkan pada
suatu
site
summary.
Site
summary
menampilkan data produk dari dua ecommerce site Lazada dan Rakuten yang telah
berhasil disimpan.
2.2 Analisis Terhadap Struktur Tag: Lazada
dan Rakuten
Pada pengerjaan penelitian ini dibutuhkan dua ecommerce site yang memiliki struktur layout dan tag
yang mirip. Kemiripan dapat dilihat dari content dan
struktur yang dimiliki oleh kedua e-commerce site.
Pada bagian ini ditunjukkan hasil analisis terhadap
struktur tag dan layout dua e-commerce site, yaitu
Lazada dan Rakuten. Kedua e-commerce siste
Lazada dan Rakuten memiliki struktur layout yang
sama. Struktur layout dari kedua e-commerce site
dapat dilihat pada Gambar
2. ANALISIS
2.1 Analisis Terhadap Proses Web Content
Mining
Berdasarkan hasil studi literatur mengenai web data
extraction, output dari web data extraction berupa
file HTML belum dapat digunakan untuk membuat
site summary. Oleh karena itu, dibutuhkan proses
tambahan meliputi parsing, simpan data dan view
site summary. Secara detil, proses web content
mining tersebut dapat dilihat pada Gambar .
Keterangan gambar:
a. Pada angka 1 menunjukkan header dari ecommerce site Lazada. Pada bagian ini terdapat
logo Lazada, dan beberapa link terkait dengan
Lazada. Link tersebut berisi informasi-informasi
terkait lazada, antara lain pembayaran,
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
pengiriman dan jaminan yang diberikan Lazada
kepada pembeli.
b. Pada angka 2 disebut sidebar yang berisi
kategori produk yang terdapat dalam Lazada,
misalnya Komputer dan Laptop, Otomotif,
Kamera dan Fashion.
c. Pada angka 3 ditampilkan iklan-iklan produk
Lazada dalam bentuk slide. Pada umumnya,
bagian ini berisi produk-produk baru yang
ditawarkan oleh Lazada.
d. Pada angka 4 ditampilkan iklan-iklan produk
Lazada yang diberi sale. Sehingga pembeli
dapat melihat produk-produk yang sedang
murah.
e. Pada angka 5 disebut footer . Footer pada ecommerce site Lazada berisi informasi
mengenai Lazada, layanan bagi pelanggan,
metode pembayaran dan kategori brand pilihan.
Dari hasil analisis struktur kedua e-commerce site
yaitu Lazada dan Rakuten, maka dapat diambil
kesimpulan antara lain:
1. Struktur e-commerce site Lazada dan Rakuten
memiliki kemiripan yaitu memiliki struktur
antara lain:
a. Header yang berisi logo ataupun nama dari ecommerce site.
b. Sidebar yang berisi kategori-kategori produk
yang dijual di e-commerce site tersebut.
c. Content berisi iklan maupun produk-produk
yang dijual di e-commerce site tersebut.
d. Footer berisi infomasi mengenai e-commerce
site dan cara pembayaran yang dilakukan.
2. Berdasarkan jenis-jenis kategori produk yang
dimiliki oleh kedua e-commerce site maka
diperoleh:
a. Kategori produk yang sama pada kedua ecommerce site antara lain: handphone, tablet,
kamera, elektronik, peralatan rumah tangga,
komputer,
fashion,
kecantikan,
bayi,
kesehatan, otomotif, mainan, olahraga dan
musik.
b. Kategori produk yang hanya ada pada Lazada
yaitu tas koper, sedangkan produk yang
hanya ada pada Rakuten yaitu makanan dan
minuman, bunga tanaman, serta buku dan alat
tulis. Sehingga dari keterangan diatas
diperoleh empat kategori yang berbeda yaitu
sekitar 20 %.
Maka berdasarkan persamaan dan perbedaan kedua
e-commerce site tersebut diperoleh persentase
kategori produk yang sama yaitu sekitar 80 %. Hal
demikian dapat dilihat dari kategori-kategori produk
yang dijual pada kedua e-commerce site tersebut.
Sedangkan untuk perbedaan struktur tag antara
kedua e-commerce site dapat dilihar pada Tabel.
No
1
Struktur
Tag
Tag Box
Lazada
Rakuten
-
2.3 Analisis Terhadap Web Content Mining dan
Web Mash-up
Perbedaan antara web mash-up dan web content
mining dapat dilihat pada Tabel
No
1
Jenis
Perbedaan
Penggunaan
API
2
3
4
Penggunaan
Input
Output
5
Cara
memperolehnya
Web MashUp
Web Content
Mining
Menggunakan
API
Tidak
menggunakan
API
Offline
URL
Site summary
offline
Open source
Online
URL
Site summary
online
Berbayar
Berdasarkan hasil analisis terhadap perbandingan
web mash-up dan web content mining , maka
diperoleh beberapa hal, diantaranya:
a. Web mash-up menggunakan data online
sedangkan dalam pengerjaan tugas ini
menggunakan data offline dikarenakan bahwa
data online membutuhkan koneksi ke Internet.
b. Web mash-up merupakan layanan yang
digunakan secara berbayar sehingga sulit untuk
menggunakannya.
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
2.4 Analisis Terhadap Web Crawling
Web crawling merupakan Proses menyalin sebagian
atau seluruh isi dari website ke local disk komputer.
Proses ini dilakukan untuk proses analisis dan
pengambilan data yang lebih cepat. Terdapat
beberapa tools atau sering disebut web crawler yang
dapat menyalin isi website ke local disk antara lain
Visual Web Spider, Visual Web Ripper, Win Web
Crawler dan HTtrack. Berikut beberapa perbedaan
yang diperoleh dari keempat web crawler tersebut.
Berdasarkan hasil analisis terkait keempat web
crawler
tersebut
maka
diputuskan
untuk
menggunakan HTtrack sebagai web crawler karena
beberapa alasan berikut:
1. HTtrack merupakan tools yang open source
sedangkan tools lain tidak open source.
2. HTTrack menghasilkan output berupa file dan
folder yang dapat disimpan dalam direktori lokal
karena telah berubah menjadi data yang offline.
3. Selain dapat menghasilkan data yang offline,
HTTrack juga dapat digunakan secara berulangulang karena sifatnya yang open source. Hal
demikian karena dalam proses pengerjaan
dibutuhkan untuk dapat melakukan crawling
selama beberapa kali sesuai kebutuhan.
Hasil dari menggunakan Httrack sebagai web
crawler adalah sebagai berikut.
1. Menghasilkan folder yang berisi file-file berupa
image, dokumen .txt, file css dan sebuah
index.html, hts-log.txt, cookies.xt, backblue.gif
dan fade.gif serta root directory.
2. Root directory merupakan folder yang berisi
informasi terkait produk. Di dalam root
directory terdapat beberapa file html yang
memiliki penamaan sama dengan nama produk
atau item yang terdapat pada website tersebut.
3. Di dalam root directory juga terdapat folder
images yang khusus menyimpan icon dan
shortcut dari setiap file html didalamnya.
4. Menghasilkan file index.html pada folder utama
website
yang
di-crawling
yang akan
menampilkan halaman utama dari website dan
berisi semua kategori produk yang tersedia.
5. Setiap folder yang memiliki nama sesuai nama
kategori produk memiliki satu file index.html
dan beberapa folder lain. File index.html
digunakan untuk menampilkan setiap halaman
sesuai kategori pada website online-nya.
Hasil crawling dengan HTtrack dapat digambarkan
sebagai berikut.
Keterangan gambar:
A. Root folder hasil crawling
B. File (index.html, backblue, cookies, fade, htslog)
C. Folder gambar
D. Folder configuration (hts-cache)
E. Folder
yang
memuat
isi
website
(ajax.googleleapis.com,
apis.google.com,
assets.pinterest.com,
lh3.gppgleusercontent.com)
F. Kategori dan subkategori folder
G. File (index dan detil produk)
2.5 Analisis Terhadap HTML Parser: Jericho
HTML Parser
Jericho HTML Parser merupakan salah satu contoh
HTML Parser yaitu suatu library pada Java untuk
analisis dan manipulasi terhadap suatu tag html
sehingga dapat diperoleh data yang diingin dari
halaman html tanpa harus mengambil semua data
yang terdapat pada halaman tersebut atau disebut
dengan parsing.
Library Jericho Html Parser melakukan parsing
berdasarkan tag css. Library ini dapat mengambil
data sesuai data yang dibutuhkan, maksudnya adalah
sebagai berikut:
1. Jericho Html Parser dapat mengambil data dari
isi
tag
tertentu
seperti
“Kamera, maka data yang
diambil adalah Kamera.
2. Jericho Html Parser dapat melakukan
modifikasi terhadap data yang telah diambil
dengan menambah tag tertentu pada konten
yang ingin dimodifikasi dan menghapus tag
tertentu yang tidak dibutuhkan.
Berikut adalah kelas-kelas yang disediakan oleh
library Jericho Html Parser dengan fungsi yang
berbeda-beda untuk mempermudah pada proses
parsing.
1. DisplayAllElemenyts.java
kelas ini menunjukkan perilaku library ketika
mengambil semua elemen dari sebuah dokumen
yang berisi campuran HTML normal, berbagai
jenis tag server dan format HTML yang buruk.
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
2. FindSpesificTags.java
kelas ini dibangun untuk mencari tag dengan
nama tertentu, dalam namespace tertentu, atau
tag khusus seperti deklarasi tipe dokumen,
deklarasi XML, instruksi pemrosesan XML, tag
PHP, tag Mason, dan komentar HTML.
3. ExtractText.java
kelas ini menunjukkan penggunaan kelas Text
Extractor yang mengekstrak semua teks dari
dokumen, judul, deskripsi, kata kunci dan link.
4. RenderToText.java
kelas ini menunjukkan penggunaan kelas
Renderer yang melakukan render teks sederhana
dari HTML, mirip dengan cara Mozillla
Thunderbird dan klien email lainnya untuk
melakukan konversi otomatis dari konten HTML
teks dalam alternatif pengkodean MIME email
mereka.
5. HTMLSanitiser.java
kelas ini menunjukkan bagaimana membersihkan
tag HTML yang tidak diinginkan atau tidak
valid.
6. FormControlDisplayCharacteristics.java
kelas ini menunjukkan pengaturan karakteristik
tampilan dari form control. Hal ini
memungkinkan sebuah kontrol dinonaktifkan,
dihapus, atau diganti dengan representasi teks
biasa dari nilainya. Dokumen baru ditulis ke
sebuah file dengan nama NewForm.html
7. FormFieldCSVOutput.java.
kelas ini menunjukkan penggunaan metod
FormFields.getColumnValues(Map)
untuk
menyimpan data formulir dalam file.csv, secara
otomatis, membuat kolom terpisah untuk fieldfield yang berisi beberapa nilai (seperti kotak
centang) . Output ditulis ke sebuah file yang
bernama FormData.csv.
8. FormFieldList.java
kelas ini menunjukkan penggunaan method
Segment.findFormFields() untuk mendaftarkan
semua kolom field dan kontrolnya yang terkait
dalam sebuah dokumen.
9. FormatSource.java
kelas ini menunjukkan penggunaan kelas
SourceFormatter yang melakukan format
terhadap kode HTML dengan meletakkan setiap
elemen non-inline-level pada baris baru dengan
indent yang tepat. Kelas ini juga dikenal sebagai
"source beautifier".
10. CompactSource.java
kelas ini menunjukkan penggunaan kelas
SourceCompactor untuk menghapus semua spasi
yang tidak perlu pada kode HTML.
11. Encoding.java
kelas ini menunjukkan penggunaan kelas
EncodingDetector dan bagaimana menentukan
encoding dari sumber dokumen.
12. SplitLongLines.java
kelas ini menunjukkan bagaimana cara untuk
melakukan format dokumen sehingga garis yang
melebihi jumlah karakter tertentu dibagi menjadi
beberapa baris.
3. IMPLEMENTASI
3.1 Implementasi
Implementasi yang dilakukan pada pengerjaan
site summary dapat dilihat pada gambar flow chart
berikut ini.
Start
Persiapan Web Crawler
TTrack
URL Website
Crawling Web
Offline Data
Hasil Parsing
Parsing
Tag HTML
Simpan Hasil
Parsing ke Database
View Site Summary
End
Keterangan gambar.
Berdasarkan gambar tersebut terlihat bahwa terdapat
empat proses yang dilakukan secara bertahap yaitu:
1. Crawling Web
Tahap ini merupakan proses awal yang harus
dilakukan yaitu melakukan crawling terhadap
website yang akan digunakan kontennya pada
site summary dengan menggunakan web crawler
HTrack. Inputan untuk web crawler HTtrack
adalah url dari website yang akan dicrawling dan
hasilnya adalah data offline dari website tersebut.
2. Parsing
Tahap parsing merupakan proses untuk
mengambil konten dari hasil crawling untuk
ditampilkan pada site summary. Pada proses ini
yang menjadi inputan adalah tag html dari
konten yang akan ditampilkan pada site
summary.
3. Simpan Hasil Parsing ke Database
Setelah proses parsing selesai dilakukan, maka
proses selanjutnya alah menyimpan hasil parsing
ke dalam sebuah database.
4. View Site Summary
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
Proses view site summary merupakan proses
akhir yaitu proses untuk menampilkan data dari
database ke sebuah site summary.
4. HASIL DAN PEMBAHASAN
4.1 Hasil dan Pembahasan HTtack
Beberapa hal penting dalam proses crawling
dengan menggunakan HTrack adalah:
1. Proses crawling dilakukan terhadap dua ecommerce site Indonesia dengan keterangan
sebagai berikut.
a. E-commerce site Lazada dengan jumlah file
12503 file dan jumlah folder sebanyak 22013
folder.
b. E-commerce site Rakuten dengan jumlah file
7368 file dan jumlah folder sebanyak 10747
folder.
2. Inputan untuk HTtrack ini adalah alamat website
yang akan dicrawling yang kemudian akan
disimpan pada penyimpanan local.
3. Hasil crawling dengan menggunakan HTTrack
dapat berupa folder-folder , image, document .txt
file css, javascipt dan index.html.
4.2 Hasil dan Pembahasan Aplikasi Parsing
Beberapa hasil yang diperoleh dari aplikasi
parsing yang dibangun adalah sebagai berikut.
1. Aplikasi parsing dapat melakukan parsing
terhadap dua e-commerce site dengan keterangan
antara lain:
a. E-commerce site Lazada dengan jumlah file
5197 dan ukuran direktori sebesar 1.02 GB
b. E-commerce site Rakuten dengan junlah file
3158 dan ukuran direktori sebesar 332 Mb.
2. Aplikasi parsing ini melakukan parsing sesuai
dengan inputan css atau tag yang diminta oleh
aplikasi kepada user . Tag-tag yang digunakan
pada aplikasi parsing yaitu tag harga, nama
produk, gambar, breadcumbs, spesifikasi dan
deskripsi.
3. Aplikasi parsing membaca semua tag-tag yang
telah didefenisikan dari file index.html yang
terdapat pada root folder site yang diparsing.
4. Pada saat user memasukkan inputan css atau tag
yang diminta oleh aplikasi maka selanjutnya
aplikasi akan mengenali tag-tag atau css tersebut
dan mengambil konten yang terdapat pada tag
atau css tersebut.
5. Jika inputan yang dimasukkan oleh user adalah
inputan yang salah atau tidak sesuai dengan yang
dibutuhkan pada aplikasi, maka aplikasi tidak
dapat melakukan parsing karena parsing hanya
dapat mengenali tag atau css yang sudah
didefinisikan pada program aplikasi parsing.
6. Aplikasi parsing akan menghasilkan data yang
terstruktur ke dalam database.
4.3 Hasil dan Pembahasan Proses Penyimpanan
Data Hasil Parsing
Setelah aplikasi parsing berhasil mengenali
semua konten dari tag atau css yang dimasukkan
oleh user , maka langkah berikutnya adalah
menyimpan hasil pengambilan konten tersebut ke
dalam sebuah database. Hasil proses parsing berupa
data dan diperleh hasil dari e-commerse site Lazada
sebanyak 2892 record sedangkan pada Rakuten
sebanyak 15517 record.
Hasil record yang diperoleh tidak sebanding
dengan jumlah file yang di-parsing karena beberapa
alasan berikut ini.
1. Terdapat beberapa perbedaan tag image pada file
hasil crawling dengan tag yang didefinisikan
pada aplikasi parsing, sehingga konten dari tag
tersebut tidak dapat diparsing.
2. Terdapat 5 file index yang tidak berisi list produk
sehingga tag css yang telah didefinisikan pada
form parsing tidak ditemukan pada file ini.
4.4 Hasil dan Pembahasan Aplikasi Site
Summary
Aplikasi site summary yang dibangun dapat
menampilkan perbandingan produk pada dua ecommerce site Indonesia yang telah berhasil
diparsing sebelumnya. Aplikasi site summary dapat
menampilkan
perbandingan
produk
dengan
menerima inputan nama produk pada kotak search
kepada user . Berikut beberapa hal yang penting pada
aplikasi site summary.
1. Terdapat beberapa penamaan ketgori produk
pada kedua e-commerce site yang berbeda
sehingga
menimbulkan
kesulitan
ketika
menampilkan produk yang sejenis.
2. Berdasarkan proses yang dilakukan, site
summary ini tidak membanding produk yang
persis sama yang dimiliki oleh kedua ecommerce
site tersebut.
5. KESIMPULAN
Beberapa kesimpulan yang diperoleh dari
pengerjaan site summary ini adalah sebagai berikut.
1. Aplikasi yang dibangun telah mampu melakukan
web content mining dengan menerapkan teknik
data extraction dan HTML Parser Jericho untuk
melakukan parsing dan untuk menampilkan site
summary.
2. Proses untuk menampilkan perbandingan produk
pada kedua e-commerce site melibatkan empat
proses yaitu crawling website, parsing, simpan
hasil parsing ke dalam database dan proses
menampilkan data produk pada site summary.
PUSTAKA
Judul bagian pustaka di atas tidak diberi nomor.
Format yang digunakan adalah APA 5th, yaitu
dengan urutan penulis, judul rujukan, nama
publikasi, tempat & tahun . Format seperti ini akan
Seminar Nasional Teknologi Informasi dan Komunikasi di Daerah Rural 2012 (SNaTIKRa 2012)
Laguboti, 24 November 2012
mudah Anda buat dengan bantuan aplikasi EndNote.
Jika aplikasi ini tidak ada di komputer Anda,
tidaklah sukar untuk menggunakan format dalam
contoh di bawah. Untuk semua pengarang, tulis
nama belakang diikuti singkatan nama tengah dan
belakang. Hanya published paper (judul buku, nama
dan nomor volume jurnal) yang ditulis miring.
Perhatikan untuk rujukan dari Internet, semua bagian
rujukan tetap ditulis lengkap. Berikut adalah contoh
penulisan daftar pustaka.
Jangan lupa mengembalikan seting Macro
Security seperti keadaan semula, setelah selesai
mengedit makalah SNATI ini.
Bonham, G. M., Seifert, J. W., dan Thorson, S. J.
(2003). The transformational potential of egovernment: the role of political leadership .
Diakses
pada
1
Mei
2003
dari
http://www.maxwell.syr.edu/maxpages/faculty/g
mbonham/ecpr.htm
de Mooij, M. (1998). Global Marketing and
Advertising: Understanding Cultural Paradoxes .
Thousand Oaks, CA: Sage Publications.
Harrison, D. A., Mykytyn, P. P., Jr., dan
Riemenschneider, C. K. (1997). Executive
decisions about adoption of information
technology in small business: theory and
empirical tests. Information System Research,
8(2), 171-195.
Hofstede, G. (1997). Cultures and Organizations:
Software of the Mind . New York: McGraw-Hill.
Katz, J. E., dan Aspden, P. (1997). A nation of
strangers. Communications of the ACM, 40 (12),
81-86.