48 Gambar 2.3. Cara Kerja Search Engine
Sumber : google, 2011
2.6.1. Anatomi Robot-The Crawler
Komponen search engine tidak terlepas dengan robot yang dikatakan secara spesifik sebagai spider robot yang mampu merangkak
dan menjelajahi halaman-halaman web. Setiap search engine tentunya memiliki robot penjelajah untuk memelihara database web sehingga
informasi yang nantinya disajikan oleh search engine selalu fresh dan relevant, bukan tidak mungkin perubahan struktur robot yang melibatkan
algoritma pun ikut berubah. Crawling search engine menjadi ujung tombak dari ketangguhan pengaksesan informasi di web. Ini adalah
program otomatis „khusus‟, yang kadang disebut clawler atau spiders yang mampu mengumpulkan informasi dari internet Sulianta : 2008 : 39.
49 Istilah spiders dan crawlers
umumnya mengacu pada “robot”. Sewaktu spider men-download halaman-halaman web, robot otomatis
melihat link-link yang ada dan dengan mudah mengalamatinya. Crawler akan memutuskan kemana spider bekerja selanjutnya, tentunya didasari
pada link-link yang ditemukan dari keberadaannya di URL. Kadang- kadang, link-link baru ditemukan sewaktu crawler mengunjungi kembali
situs internet dan kemudian ditambahkan dalam daftar crawler. Tentunya ketika anda menambahkan URL anda ke situs pencari, anda me-request
agar crawler mengunjungi situs anda. Sedangkan spider otomatis langsung men-download dokumen-dokumen web yang dikirimkan oleh crawler.
Kebanyakan spider web tidak tertarik dengan file image. Hasil kelola spider ada di indeks. Ini dimungkinkan dengan adanya
indexer yang merupakan bagian dari sistem yang menentukan jenis seperti apakah suatu website. Kata-kata yang ada pada website akan dibaca,
beberapa diabaikan misalnya : kata-kata yang tergolong umum. Kode HTML dianalisa code, kata-kata yang di-bold, dicetak miring, dan header
tag akan diberikan intensitas tersendiri. Meta information kata-kata kunci dan description tags pun dianalisa. Kemudian basis data, tempat dimana
informasi yang telah dikumpulkan oleh indexer kemudian disimpan. Pertimbangan google, yang menyatakan dirinya sebagai database paling
besar. Pembacaannya melebihi 3 miliar dokumen, walaupun rata-rata ukuran masing-masing dokumen hanya beberapa puluh kilobytes, namun
50 jika dikalkulasikan akan melebihi 1 juta megabytes, yang tentunya
membutuhkan sangat banyak media penyimpanan. Sedangkan mesin hasil menjadi bagian yang paling penting dari
search engine. Merupakan antarmuka bagi pengunjung, dan disinilah pengunjung akan melihat dan menilai keandalan dari search engine yaitu
menyajikan halaman-halaman yang paling relevant terhadap query user. Sewaktu user mengetikkan kata kunci atau frase, mesin hasil result
engine akan memutuskan halaman-halaman yang mana yang paling berguna bagi user.
Berkaitan dengan bagaimana search engine bekerja, menganalisa dan mempertimbangkan hingga menyajikan informasi yang relevant
Sulianta : 2008 : 41.
2.6.2. Kriteria Pada Search Engine Tools Analyzer
Kategori