Begriff
Log File Analysis
Log File Analysis wertet Server-Logs aus, um zu sehen, welche URLs Googlebot tatsächlich crawlt, wie oft und mit welchem Statuscode. Zeigt das echte Crawl-Verhalten — anders als Search Console (aggregiert) oder synthetische Crawler.
Log File Analysis — ausführlicher erklärt
Server-Access-Logs enthalten jede einzelne HTTP-Anfrage an die Site — inklusive User-Agent, URL, Statuscode, Timestamp, Bytes übertragen. Bei der Log-Analyse filtert man auf Bot-User-Agents (Googlebot, Bingbot, AI-Crawler) und reverse-DNS-verifizierte IPs, um zu sehen, wo der Crawl-Budget tatsächlich landet.
Typische Findings: ein großer Teil der Crawls geht auf Filter-/Sort-URLs (Faceted Navigation), Redirect-Ketten oder 4xx-/5xx-Seiten. Daraus folgen konkrete Maßnahmen: robots.txt-Regeln, Redirect-Bereinigung, Canonical-Korrekturen. Tools: Screaming Frog Log Analyzer, OnCrawl, JetOctopus, Botify oder ein simples ELK-Stack-Setup.
Beispiel / Praxisbezug
Ein Shop sieht in der Search Console “1,2 Mio gecrawlte URLs”, aber nur 80.000 indexiert. Logs zeigen: 70 % der Googlebot-Hits gehen auf Sortier- und Pagination-URLs, die per Canonical kanonisiert sind. Konsequenz: robots.txt-Disallow für Sortier-Parameter — Crawl-Budget verschiebt sich auf indexierungswürdige Produktseiten, neue Produkte werden schneller aufgenommen.
Abgrenzung zu ähnlichen Begriffen
Search Console Crawl Stats zeigt Aggregate von Google selbst, ohne URL-Granularität. Site-Audit-Crawler (Screaming Frog im Desktop-Modus) sind synthetisch — sie zeigen, was crawlbar wäre, nicht was Google wirklich crawlt. Logs sind die einzige Quelle für tatsächliches Crawl-Verhalten.
Entdecke mehr
301-Weiterleitung
Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.
LexikonTechnisches SEO — was Google wirklich crawlen, rendern und indexieren muss
Wie Crawl-Budget, Robots, Sitemap, JS-Rendering, Indexierung, Canonical und Core Web Vitals zusammenspielen — der vollständige Bogen für produktive Sites.
NewsGoogle Search Central Live Toronto 2026 — was Google offiziell zur Zukunft der Suche sagt
Information Gain als neues Leitbild, Google-Extended klar eingeordnet, AI Mode mit 93 % Zero-Click. Die wichtigsten Aussagen aus Toronto.