Back Webkruiper Afrikaans زاحف ويب Arabic رتيلة (بوت) ARY Axtarış botu Azerbaijani Webcrawler BAR Aranya web Catalan Web crawler Czech Ymgripiwr gwe Welsh Ανιχνευτής ιστού Greek Web crawler English
Ein Webcrawler (auch Spider, Searchbot oder Robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt. Weitere Anwendungen sind das Sammeln von Web-Feeds, E-Mail-Adressen oder von anderen Informationen.
Webcrawler sind eine spezielle Art von Bots, also Computerprogrammen, die weitgehend automatisch sich wiederholenden Aufgaben nachgehen.