Hauptbereich
Agency
technisches-seo

Crawl-Budget verstehen und steuern

Redaktion ·

Crawl-Budget verstehen und steuern

Crawl-Budget ist eines der Themen, über die am meisten geredet und am häufigsten danebengeoptimiert wird. Der Reflex ist verständlich: „Mehr Crawling muss besser sein.” Aber für die allermeisten Sites ist Crawl-Budget schlicht kein Problem — und wer es trotzdem anpackt, optimiert an einer Stelle, die gar nicht klemmt.

Deshalb fangen wir mit der wichtigsten Botschaft an, nicht mit der Mechanik: Hat deine Site unter 10.000 URLs und werden neue Seiten innerhalb eines Tages indexiert, betrifft dich Crawl-Budget nicht. Erst bei großen oder sehr schnell wachsenden Sites wird es zum echten Hebel. Wann genau, was das Budget frisst und wie du gegensteuerst — das klärt dieser Artikel.

Was Crawl-Budget eigentlich ist

Google definiert das Crawl-Budget als das Zusammenspiel zweier Faktoren:

Crawl-Rate-Limit (Crawl-Kapazität). Wie viele gleichzeitige Verbindungen und wie viele Requests pro Zeit verträgt dein Server, ohne unter Last zu kommen? Antwortet der Server schnell und stabil, hebt Google die Crawl-Rate an. Wird er langsam oder wirft Fehler, drosselt Google — zum Schutz deines Servers. Die Server-Geschwindigkeit ist also kein Nebeneffekt, sondern direkte Stellschraube.

Crawl-Demand (Crawl-Nachfrage). Wie sehr will Google deine URLs überhaupt crawlen? Das hängt von Popularität, Aktualität und wahrgenommener Qualität ab. Beliebte, sich häufig ändernde Seiten werden öfter besucht; verwaiste oder stagnierende seltener.

Das Budget ist das Produkt aus beidem: die Menge an URLs, die Google kann (Kapazität) und will (Nachfrage). Beide Hebel kann man beeinflussen — aber nur, wenn das Budget überhaupt der Engpass ist.

Wann Crawl-Budget relevant wird

Google selbst nennt klare Schwellen, ab denen sich das Thema lohnt:

  • Große Sites mit 1 Mio.+ einzigartigen Seiten, deren Inhalt sich moderat ändert (etwa wöchentlich).
  • Mittlere bis große Sites mit 10.000+ URLs, deren Inhalt sich sehr schnell ändert (täglich).
  • Sites mit einem hohen Anteil an URLs im Status „Gefunden, derzeit nicht indexiert” in der Search Console.

Für alles darunter gilt: Google crawlt einfach alles, und zwar zeitnah. Ein typischer Blog mit 300 Seiten muss sich um Crawl-Budget nie kümmern.

Was das Budget verschwendet

Auf großen Sites geht Budget nicht durch zu wenige gute Seiten verloren, sondern durch zu viele wertlose URLs, die den Googlebot binden. Die Hauptverschwender:

  • Faceted Navigation / Parameter-URLs. Filter- und Sortier-Parameter erzeugen kombinatorisch Tausende URL-Varianten desselben Inventars (?farbe=rot&sort=preis&seite=3). Auf E-Commerce-Sites ist das mit Abstand der größte Fresser. Google crawlt jede Kombination, obwohl der Inhalt fast identisch ist.
  • Soft-404s. Eine Seite, die HTTP 200 zurückgibt, aber keinen echten Inhalt hat („Keine Ergebnisse”, „Produkt nicht verfügbar”). Google erkennt das als Soft-404, crawlt es aber weiter und verbrennt dabei Budget. Sauberer Statuscode-Umgang ist hier Pflicht.
  • Redirect-Ketten. Jeder Hop in einer Weiterleitungskette (A → B → C → D) kostet einen Request. Lange Ketten fressen Budget und verzögern, bis Google am Ziel ankommt.
  • Duplicate Content. Mehrere URLs mit demselben Inhalt zwingen Google, dieselbe Information mehrfach zu crawlen, statt einzigartige Seiten zu erreichen.
  • Langsame Server-Antworten. Je länger der Server braucht, desto weniger URLs schafft Google im selben Zeitfenster — die Kapazität sinkt direkt.

Die Hebel — gezielt gegensteuern

Gegen jeden Verschwender gibt es einen sauberen Hebel:

  • Faceted Navigation entschärfen. Das stärkste Werkzeug ist der Canonical-Tag: Filter-Varianten verweisen per Canonical auf die Master-Seite, sodass Google weiß, welche Version zählt. URL-Muster, die nie indexiert werden sollen, lassen sich zusätzlich per robots.txt vom Crawling ausschließen.
  • Saubere Statuscodes. Dauerhaft entfernte Inhalte geben 404 oder 410 zurück, nicht 200 mit Leerseite. Das beendet das Crawling dieser URLs.
  • Redirect-Ketten auflösen. Direkt auf das finale Ziel weiterleiten (A → D), nicht über Zwischenstationen.
  • Server-Response beschleunigen. Schnellere Antworten heben die Crawl-Rate. Bei „Hostload exceeded”-Fehlern hilft laut Google nur eines: mehr Server-Ressourcen.
  • Interne Linkarchitektur sauber halten. Wichtige Seiten flach und gut verlinkt; keine endlosen Kalender- oder Parameter-Räume, in denen sich der Bot verliert.

Wichtig: robots.txt eignet sich nur für dauerhafte Ausschlüsse. Eine kurzfristige Sperre hält die URL nur länger in der Warteschlange — Google verwirft sie nicht, sondern wartet.

Log-File-Analyse als Diagnose

Die ehrlichste Datenquelle für Crawl-Verhalten sind deine Server-Logs. Sie zeigen Request für Request, wofür der Googlebot sein Budget tatsächlich ausgibt — welche Parameter-URLs, welche Filter-Seiten, welche toten internen Suchergebnisse er crawlt. Der Crawling-Statistik-Bericht in der Search Console gibt einen guten Überblick; für die Tiefe braucht es echte Log-File-Analyse.

Typischer Befund: Der Bot verbringt 40 % seiner Requests auf Session- und Filter-Parametern, die nie ranken sollen. Genau das ist der Moment, in dem die obigen Hebel greifen — und in dem du den Erfolg messen kannst.

Wie Crawling ins größere Bild aus Finden, Rendern und Indexieren passt, steht im Überblick zum technischen SEO.

FAQ

Muss sich meine kleine Website um Crawl-Budget kümmern? Mit hoher Wahrscheinlichkeit nein. Unter rund 10.000 URLs und bei zeitnaher Indexierung neuer Seiten crawlt Google ohnehin alles. Crawl-Budget wird erst bei sehr großen Sites (1 Mio.+ Seiten) oder mittelgroßen Sites mit täglich wechselndem Inhalt zum echten Engpass.

Steigert mehr Crawling mein Ranking? Nein, direkt nicht. Crawling ist die Voraussetzung dafür, dass Seiten überhaupt indexiert und bewertet werden können — aber häufigeres Crawlen verbessert kein Ranking für sich. Das Ziel ist nicht mehr Crawling, sondern zielgerichtetes: dass Googlebots Zeit auf den wertvollen URLs landet, nicht auf Parameter-Müll.

Wie sehe ich, ob ich ein Crawl-Budget-Problem habe? Zwei Signale: ein hoher Anteil „Gefunden, derzeit nicht indexiert” in der Search Console und ein Crawling-Statistik-Bericht, der viele Requests auf irrelevante URL-Typen zeigt. Für Gewissheit hilft eine Log-File-Analyse, die offenlegt, wofür der Bot sein Budget ausgibt.

Was ist der Unterschied zwischen Crawl-Rate-Limit und Crawl-Demand? Das Crawl-Rate-Limit ist die technische Obergrenze — was dein Server verträgt, ohne überlastet zu werden. Crawl-Demand ist Googles Wunsch, deine URLs zu crawlen, abhängig von Popularität und Aktualität. Das tatsächliche Budget ergibt sich aus beidem zusammen.

Hilft robots.txt gegen Crawl-Budget-Verschwendung? Ja, aber nur für dauerhafte Ausschlüsse. URL-Muster, die nie indexiert werden sollen (etwa bestimmte Parameter-Räume), kannst du per robots.txt vom Crawling ausnehmen. Eine nur temporäre Sperre bringt nichts — Google verwirft die URL dann nicht, sondern hält sie länger in der Warteschlange.

Themenuebersicht

Technisches SEOCrawling & Indexierung