Webcrawler

A Webcrawler oda Suachrobota is a Rechnaprogramm, des wos des Internetz automatisch duachsuacht und Netzseitn analysiat. Webcrawler wean voa oim vo Suachmaschina eingesetzt. Suachroboter kena owa aa fia ondare Aufgom vwendt wean: E-Post-Adressn sammen (Spamma nutzn Bots dazua), Codes priafn, Links checkn, Woatungsaufgom ausfian, RSS-Newsfeeds sammen usw. Webcrawler san a bsondare Foam vo Bots, oiso Programmagenten fia bstimmte Routineaufgom.

Wia beim Internetzsurfen geht da Webcrawler vo Link zu Link weida, vo Netzseitn zu Netzseitn. Theoretisch bsuachn Webcrawler des gsamte Internetz. Praktisch is des owa ned so. De Webcrawler brechn in da Regl de Suach irgenwonn o und fonga nocha wieda vo voan o. Es wead oiso nua a Auswoi ausm Netz eafosst. Dazua kummt, dass Webcrawler aa goa ned olle Inhoide eareichn kena. Des guit beispuisweis fia Seitn, wo koane Links hiweisn: z. B. Portale mit Zuagongsbeschränkung und Inhoide, de wo nua iwa Suachmaskn eareichboa san. De Netzbereiche nennt ma „Deep Web“.