| Perkembangan teknologi internet saat ini memungkinkan informasi diakses dengan cepat dan mudah. Sekarang ini banyak sekali situs (website) yang tersebar di internet dengan berbagai bahasa. Dengan begitu banyaknya situs, pengguna internet seringkali membutuhkan waktu yang panjang untuk mencari situs yang dapat dimengerti, karena itu dibutuhkan suatu proses yang akan memudahkan pengguna internet untuk mencari atau mengklasifikasi situs berbahasa Indonesia. Aplikasi mesin penjelajah internet (web crawler) ini merupakan solusi untuk mempermudah proses pencarian pada internet. Web crawler merupakan inti dari search engine yang sering dijumpai di internet. Dari hasil pengujian mesin penjelajah internet ini, dapat diasumsikan bahwa bila starting URL-nya merupakan situs berbahasa Indonesia maka hampir seluruh link yang terdapat pada situs tersebut juga berbahasa Indonesia, begitu juga sebaliknya apabila situs bukan Indonesia umumnya memiliki link yang juga bukan Indonesia. Meskipun suatu situs berbahasa Indonesia, tetapi sangat banyak kata-kata bukan Indonesia yang digunakan dalam situs tersebut, terutama Bahasa Inggris. Bahasa Indonesia yang digunakan juga sebagian besar sama dengan yang digunakan di situs lain. |