Zurück zum Glossar

Begriff

Crawl-Budget

Crawl-Budget bezeichnet die Anzahl URLs, die Googlebot in einem bestimmten Zeitraum auf einer Website crawlt — bestimmt durch Server-Last und Beliebtheit der Inhalte.

Crawl-Budget — ausführlicher erklärt

Das Crawl-Budget setzt sich aus zwei Komponenten zusammen: dem Crawl-Rate-Limit (wie viele Anfragen der Googlebot dem Server zumutet, abgeleitet aus Antwortzeiten und Fehlerraten) und dem Crawl-Demand (wie oft Google Inhalte für aktualisierungswürdig hält — gespeist aus Beliebtheit und Änderungs-Frequenz). Beides zusammen ergibt, wie viele URLs Googlebot auf einer Site pro Zeitfenster tatsächlich abruft.

Beispiel / Praxisbezug

Crawl-Budget wird erst bei großen Sites zum Thema — Faustregel ab etwa 10.000 URLs aufwärts oder bei Sites mit sehr häufigen Updates (News, große Shops mit dynamischen Filtern). Für die meisten kleinen und mittleren Websites ist das Budget praktisch unbegrenzt; jeder neue oder geänderte Inhalt wird zeitnah gecrawlt, ohne dass man dafür optimieren müsste. Wer trotzdem optimieren will: Duplicate Content reduzieren, parametrisierte URLs in der robots.txt sperren, klare interne Verlinkung pflegen, schnelle Server-Antwortzeiten halten.

Entdecke mehr