Crawling ist der Prozess, bei dem Suchmaschinen über eigene Bots Websites und ihre
Inhalte durchlaufen, analysieren und indexieren, damit ihnen ein Ranking bei entsprechende Suchanfrage zugeschrieben werden kann.