Hauptbereich
Agency
technisches-seo

Log-File-Analyse für SEO

Redaktion ·

Die meisten SEO-Tools erzählen dir, was Google crawlen sollte. Server-Logs erzählen, was Google tatsächlich gecrawlt hat. Das ist ein fundamentaler Unterschied. Jeder Request an deinen Server hinterlässt eine Zeile im Access-Log: welche IP, welche URL, welcher Statuscode, welcher User-Agent, welcher Zeitpunkt. Filterst du daraus die Googlebot-Zugriffe heraus, hältst du die einzige unverfälschte Aufzeichnung des echten Crawl-Verhaltens in der Hand — ungesampelt, unaggregiert, ohne Interpretationsschicht.

Was Logs verraten, das die Search Console nicht zeigt

Die Google Search Console ist nützlich, aber sie aggregiert und sampelt. Der Crawling-Statistik-Report zeigt Trends und Summen, keine einzelnen URLs in voller Tiefe. Logs schließen genau diese Lücke und beantworten Fragen, an denen die GSC vorbeischaut:

  • Welche URLs besucht Googlebot wie oft? Du siehst die exakte Crawl-Frequenz pro URL und pro Verzeichnis. Plötzlich wird sichtbar, dass /blog/ täglich besucht wird, /leistungen/ aber nur alle drei Wochen.
  • Welche Statuscodes bekommt der Bot? 200, 301, 404, 500 — pro URL. Eine Häufung von 404ern oder 5xx-Fehlern im Bot-Traffic ist ein direkter Hinweis auf verschwendetes Crawl-Budget und Crawl-Frust.
  • Wohin fließt das Budget? Crawlt Googlebot tausendfach parametrisierte Filter-URLs (?sort=…&color=…), während wichtige Seiten selten drankommen, verbrennst du Budget an Müll. Das sieht man nur im Log.
  • Verwaiste Seiten. URLs, die im Log auftauchen, aber nirgends intern verlinkt sind — oder umgekehrt wichtige Seiten, die der Bot nie besucht.

Kurz: Logs zeigen die Realität, die GSC zeigt die Zusammenfassung.

Erst verifizieren: Ist das überhaupt Googlebot?

Bevor du irgendetwas auswertest, kommt der wichtigste und meistübersehene Schritt: Verifiziere, dass die Zugriffe echt von Googlebot stammen. Der User-Agent-String ist wertlos als Beweis — jeder kann sich als Googlebot ausgeben, und Scraper tun das massenhaft. Wertest du ungefiltert aus, mischst du Fake-Bots in deine Crawl-Statistik und ziehst falsche Schlüsse.

Google nennt das korrekte Verfahren (Stand Search Central, Juni 2026): Reverse-DNS plus Forward-DNS. In zwei Schritten:

  1. Reverse-DNS auf die Request-IP: host <IP>. Das Ergebnis muss auf googlebot.com, google.com oder googleusercontent.com enden — etwa crawl-66-249-66-1.googlebot.com.
  2. Forward-DNS auf den gefundenen Hostnamen: host <hostname>. Die zurückgegebene IP muss wieder die ursprüngliche IP sein.

Stimmen beide Richtungen, ist es echter Googlebot. Stimmt eine nicht, ist es ein Imitator und fliegt aus der Analyse. Alternativ veröffentlicht Google maschinenlesbare IP-Range-Listen (JSON), gegen die du die IPs direkt abgleichen kannst — der schnellere Weg bei automatisierter Auswertung.

Womit man Logs auswertet

Drei Wege, je nach Größe und Anspruch:

  • Screaming Frog Log File Analyser: das Standardtool für die meisten Sites. Importiert die Rohlogs, verifiziert Googlebot, und gibt Crawl-Frequenz, Statuscodes und Verzeichnis-Aufschlüsselung direkt aus. Niedrige Einstiegshürde.
  • ELK-Stack (Elasticsearch, Logstash, Kibana) oder vergleichbare Pipelines: für große Sites mit Millionen Zeilen pro Tag. Mehr Aufwand im Setup, dafür Echtzeit-Dashboards und beliebige Auswertungen.
  • Eigene Auswertung mit Skripten (Python/awk): wenn du gezielte Fragen hast und keine Tool-Lizenz willst. Flexibel, aber du baust die Verifikation und Aggregation selbst.

Welches Tool — zweitrangig. Entscheidend ist, dass du nur verifizierten Googlebot-Traffic auswertest.

Was man konkret sucht

Eine Log-Analyse ohne Frage ist Datenstarren. Die produktiven Fragen lauten:

  • Budget-Verschwendung: Welcher Anteil der Bot-Requests geht an Parameter-URLs, Filter-Kombinationen, Session-IDs oder Paginierungs-Tiefen, die nicht ranken sollen? Das ist der erste Hebel — diese URLs per robots.txt oder Parameter-Handling aus dem Crawl nehmen.
  • Untercrawlte wichtige Seiten: Gibt es Money-Pages oder frische Inhalte, die Googlebot selten oder nie besucht? Dann fehlt interne Verlinkung oder die Seite hängt zu tief in der Klick-Hierarchie.
  • Fehler-Cluster: Wo häufen sich 404 und 5xx im Bot-Traffic? Jeder Fehler-Request ist verbranntes Budget und ein Signal an Google, dass die Site instabil ist.
  • Crawl-Frequenz vs. Aktualität: Werden häufig aktualisierte Seiten auch häufig gecrawlt? Wenn dein News-Bereich nur wöchentlich besucht wird, kommt frischer Content verspätet in den Index.

Die Crawl-Frequenz selbst hängt an der Crawl-Rate, die Google dynamisch an Serverlast und Site-Wert anpasst — Logs zeigen dir, wo diese Rate landet. Und ob eine gecrawlte Seite am Ende auch im Index steht, ist eine separate Frage: Crawling ist die Voraussetzung für Indexierung, aber keine Garantie. Wie Googlebot überhaupt arbeitet, steht im Glossar unter Crawler.

FAQ

Was zeigen Server-Logs, das die Search Console nicht zeigt? Logs zeigen jeden einzelnen Googlebot-Request ungesampelt: exakte URL, Statuscode, Zeitpunkt, Frequenz pro Verzeichnis. Die GSC aggregiert und sampelt diese Daten. Fragen wie „welche genaue URL wird wie oft gecrawlt” oder „wohin fließt mein Budget” beantworten nur die Rohlogs.

Warum reicht der User-Agent nicht, um Googlebot zu erkennen? Weil der User-Agent-String frei fälschbar ist — jeder Scraper kann sich als Googlebot ausgeben. Wertest du ungefiltert aus, verfälschen Fake-Bots deine Statistik. Verifiziere echten Googlebot per Reverse-DNS plus Forward-DNS oder über Googles veröffentlichte IP-Ranges.

Wie verifiziere ich echten Googlebot? Reverse-DNS auf die Request-IP (host <IP>); der Hostname muss auf googlebot.com, google.com oder googleusercontent.com enden. Dann Forward-DNS auf diesen Hostnamen — die IP muss wieder die ursprüngliche sein. Stimmen beide Richtungen, ist es echt. Alternativ gegen Googles IP-Range-JSONs abgleichen.

Welches Tool brauche ich für die Log-Analyse? Für die meisten Sites reicht der Screaming Frog Log File Analyser. Große Sites mit Millionen Zeilen nutzen ELK-Stack oder ähnliche Pipelines. Für gezielte Fragen genügen eigene Python-/awk-Skripte. Wichtiger als das Tool ist, nur verifizierten Googlebot-Traffic auszuwerten.

Welche Probleme deckt eine Log-Analyse typischerweise auf? Verschwendetes Crawl-Budget an Parameter- und Filter-URLs, wichtige Seiten, die Googlebot selten oder nie besucht, Häufungen von 404- und 5xx-Fehlern im Bot-Traffic, und Diskrepanzen zwischen Aktualisierungs- und Crawl-Frequenz. Alles Funde, die GSC und klassische Crawler so nicht liefern.

Themenuebersicht

Technisches SEOCrawling & Indexierung