Web Content Mining WCM
untuk meningkatkan pencarian dan penyaringan informasi dan bisa ditempatkan ke dalam tiga kategori:
1. Intelligent Search Agents
Search agent atau agen pencari ini untuk mencari informasi yang relavan
menggunakan karakteristik domain dan profil pengguna untuk mengatur dan manafsirkan informasi yang ditemukannya.
2. Information Filtering Categorization Agent
Agen ini menggunakan metode Information Retrieval IR dan karakteristik hypertext dokumen web untuk memperoleh, menyaring, dan
mengelompokkannya secara otomatis. 3.
Personalized Web Agents Agen ini digunakan untuk menemukan informasi berdasarkan ketertarikan
dari pengguna. Pendekatan kedua bertujuan untuk memodelkan data pada web ke dalam bentuk
terstuktur dengan menerapkan mekanisme query database dan aplikasi data mining
untuk analisisnya.
Gambar II.1 Arsitektur WCM II.1.1.1
Teknik Web Content Mining
Fokus utama dari skripsi ini adalah menerapkan metode WCM. Konsep WCM melibatkan beberapa teknik untuk summarizing meringkas, classification
klasifikasi dan clustering mengelompokkan dalam konten web. Berikut adalah penjelasan teknik-teknik WCM untuk tipe data teks [8]:
1. Unstructured Text Data Mining Techniques
Data web content sebagian besar merupakan data teks yang tidak terstruktur. Teknik-teknik yang digunakan untuk data teks yang tidak
terstruktur yang digunakan dalam WCM dapat dilihat pada tabel berikut :
Tabel II.1 Teknik Unstructured Text Data
Teknik Input
Metode Output
Topic Tracking
Database Topik filtering
dari database, Topik re-
ranking Topik-topik
yang berhubungan
Summariza- tion
Dokumen Metode
Extractive dan
Abstractive Ringkasan
yang menyampaikan
isi sebuah
dokumen Categoriza-
tion Dokumen
Menghitung jumlah
kata dari tema atau
topik dokumen dan dilakukan
ranking Dokumen
yang berhubungan
berdasarkan ranking
Clustering Koleksi
Dokumen Mengelompok-
kan dokumen ke kelompok
klaster yang
terbaik Kelompok
klaster yang
relavan terbaik yang
berisi dokumen yang
diinginkan
2. Structured Text Data Mining Techniques
Data teks tersruktur biasanya merupakan data record yang diperoleh dari database
dan ditampilkan di web pages. Data record tersebut dapat ditampilkan ke dalam bentuk tabel atau form. Teknik-teknik yang
digunakan untuk data teks terstruktur yang digunakan dalam WCM dapat dilihat pada tabel berikut :
Tabel II.2 Teknik Structured Text Data
Teknik Metode
Digunakan Contoh
Web Crawler Crawling
atau menelusuri
hyperlink ,
Membuat indeks ke database
Search Engine ,
Textual Analysis ,
Access Market ,
Trend topik
Google, Yahoo
Wrapper Menghubungkan
ke bermacam
search engine Meta
Search Engine
Visual Web Ripper, iMacros,
Screen Scrapper