Crawler (Spiderbot) Nedir? – Tanım
Crawler (örümcek veya spiderbot olarak da bilinir), arama motorları tarafından kullanılan bir internet botudur. İşlevi, web mimarisi ve içeriği hakkında bilgi toplamak ve onu indekslemek ve eğer değerliyse arama sonuçlarında kullanıcılara göstermektir.
Ne İşe Yararlar?
Örümceklerin ana işlevleri şunlardır:
- Site kodunu doğrulamak,
- Web sitesinin içeriğini incelemek,
- Kullanıcılarla ilgili site hakkında ek bilgi toplamak,
- İnternette bulunan içerik güncellemelerini kontrol etmek için.
En çok tanınan tarayıcı Googlebot‘tur. Ayrıca, taramanın her zaman bir sayfayı dizine eklediğini ve dolayısıyla arama sonuçlarında görüntülendiği anlamına gelmediğini de belirtmekte fayda var.
