Crawl-Budget
Auch: Crawl Budget, Crawling-Budget
Das Crawl-Budget ist die Menge an URLs, die Google auf einer Website crawlen kann und will. Es ergibt sich aus dem Crawling-Kapazitätslimit und dem Crawling-Bedarf.
Das Crawl-Budget beschreibt laut Google die Menge an URLs, die Google crawlen kann und möchte. Es setzt sich aus dem Crawling-Kapazitätslimit (wie stark der Server belastet werden kann) und dem Crawling-Bedarf (wie gefragt und aktuell die Inhalte sind) zusammen. Relevant ist es vor allem für große Websites.
Für wen das Crawl-Budget wichtig ist
| Website-Typ | Merkmal |
|---|---|
| Große Websites | über 1 Million Seiten, wöchentliche Änderungen |
| Mittelgroße Websites | über 10.000 Seiten, tägliche Änderungen |
| Websites mit Indexierungsproblemen | viele URLs mit „Gefunden – zurzeit nicht indexiert“ |
So nutzen Sie das Crawl-Budget besser
- doppelte Inhalte zusammenführen
- unwichtige URLs per robots.txt vom Crawling ausschließen
- entfernte Seiten mit 404 oder 410 beantworten
- Ladezeiten verbessern und HTTP-Caching nutzen
Bedeutung für KI-Sichtbarkeit
Auch KI-Crawler wie OAI-SearchBot oder PerplexityBot haben begrenzte Ressourcen. Eine schlanke, schnelle Website mit wenigen unnötigen URLs erleichtert allen Crawlern die Arbeit, siehe KI-Crawler und robots.txt.
Häufige Fragen
Muss sich eine kleine Website um das Crawl-Budget kümmern?
In der Regel nicht. Google richtet seinen Leitfaden an große oder sich sehr schnell ändernde Websites.