Der Webcrawler durchläuft netzartig Websites und folgt dabei allen angegebenen
Links im Rahmen des Crawlbudgets. Dabei sollen Inhalte analysiert und bewertet werden, um sie in der Indexierung aufzunehmen.