crawling

Beim Crawling wird durch Bots über einen Hyperlink begonnen, Seiten zu analysieren und sie in Hinblick auf verschiedene Faktoren zu bewerten und zu indexieren. Dabei folgt ebendieser Bot allen angegebenen Links und baut sich so ein eigenes AnalyseNetz auf. Auf diese Weise erhalten Seiten bei entsprechenden Suchanfragen ihr Ranking.

Der Webcrawler durchläuft netzartig Websites und folgt dabei allen angegebenen Links im Rahmen des Crawlbudgets. Dabei sollen Inhalte analysiert und bewertet werden, um sie in der Indexierung aufzunehmen.

Crawling ist der Prozess, bei dem Suchmaschinen über eigene Bots Websites und ihre Inhalte durchlaufen, analysieren und indexieren, damit ihnen ein Ranking bei entsprechende Suchanfrage zugeschrieben werden kann.

Crawling lässt sich zwar anfragen, die exakte Angabe, wie oft, lang und umfänglich das tatsächlich geschieht, ist dabei aber nicht exakt einzusehen. Als grobe Faustregel kann allgemein ein mehrfaches Crawling pro Tag angenommen werden.