Simon Bruder
f36318b158
All checks were successful
continuous-integration/drone/push Build is passing
15 lines
652 B
Markdown
15 lines
652 B
Markdown
background-image="img/bot.jpg"
|
|
|
|
# Crawler
|
|
|
|
<notes>
|
|
* Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert
|
|
* Erster Webcrawler 1993 „World Wide Web Wanderer“
|
|
* 1994: Erste öffentlich Suchmaschine mit Webcrawler
|
|
* Gelangt ähnlich wie ein Benutzer durch Hyperlinks von Seite zu Seite
|
|
* Besucht alle gefunden Adressen und speichert sie
|
|
* Fügt neue Adressen zur Liste aller URLs hinzu
|
|
* Positionierung: Je mehr Hyperlinks auf eine Seite verweisen, desto höher wird sie gelistet
|
|
* Es ist möglich, Webcrawler durch eine spezielle Datei auszuschließen oder sie durch Falschinformationen zu verlangsamen
|
|
</notes>
|