15 lines
652 B
Markdown
15 lines
652 B
Markdown
|
background-image="img/bot.jpg"
|
||
|
|
|
||
|
|
# Crawler
|
||
|
|
|
||
|
|
<notes>
|
||
|
|
* Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert
|
||
|
|
* Erster Webcrawler 1993 „World Wide Web Wanderer“
|
||
|
|
* 1994: Erste öffentlich Suchmaschine mit Webcrawler
|
||
|
|
* Gelangt ähnlich wie ein Benutzer durch Hyperlinks von Seite zu Seite
|
||
|
|
* Besucht alle gefunden Adressen und speichert sie
|
||
|
|
* Fügt neue Adressen zur Liste aller URLs hinzu
|
||
|
|
* Positionierung: Je mehr Hyperlinks auf eine Seite verweisen, desto höher wird sie gelistet
|
||
|
|
* Es ist möglich, Webcrawler durch eine spezielle Datei auszuschließen oder sie durch Falschinformationen zu verlangsamen
|
||
|
|
</notes>
|