background-image="img/bot.jpg"

# Crawler

<notes>
 * Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert
 * Erster Webcrawler 1993 „World Wide Web Wanderer“
 * 1994: Erste öffentlich Suchmaschine mit Webcrawler
 * Gelangt ähnlich wie ein Benutzer durch Hyperlinks von Seite zu Seite
 * Besucht alle gefunden Adressen und speichert sie
 * Fügt neue Adressen zur Liste aller URLs hinzu
 * Positionierung: Je mehr Hyperlinks auf eine Seite verweisen, desto höher wird sie gelistet
 * Es ist möglich, Webcrawler durch eine spezielle Datei auszuschließen oder sie durch Falschinformationen zu verlangsamen
</notes>
