This repository has been archived on 2022-03-27. You can view files and clone it, but cannot push or open issues/pull-requests.
background-image="img/bot.jpg"
Crawler
* Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert
* Erster Webcrawler 1993 „World Wide Web Wanderer“
* 1994: Erste öffentlich Suchmaschine mit Webcrawler
* Gelangt ähnlich wie ein Benutzer durch Hyperlinks von Seite zu Seite
* Besucht alle gefunden Adressen und speichert sie
* Fügt neue Adressen zur Liste aller URLs hinzu
* Positionierung: Je mehr Hyperlinks auf eine Seite verweisen, desto höher wird sie gelistet
* Es ist möglich, Webcrawler durch eine spezielle Datei auszuschließen oder sie durch Falschinformationen zu verlangsamen