Googlebot

Googlebot — ausführlicher erklärt

Googlebot ist der Sammelname für Googles Crawler-Familie. Die zwei produktiven Hauptvarianten sind Googlebot Smartphone (Standard für Mobile-First-Indexing — der Default für die meisten Sites) und Googlebot Desktop (für Sites, die noch nicht auf Mobile-First umgestellt wurden, sowie für Cross-Checks). Daneben existieren Spezial-Crawler wie Googlebot-Image, Googlebot-Video und Googlebot-News.

Erkennung erfolgt über den User-Agent-String und — verlässlicher — über Reverse-DNS-Lookup auf *.googlebot.com oder *.google.com. Steuerung über robots.txt, meta name="robots", X-Robots-Tag-Header.

Beispiel / Praxisbezug

In Server-Logs erkennt man Googlebot z. B. so: Mozilla/5.0 (Linux; Android …) … Googlebot/2.1; +http://www.google.com/bot.html. Wer den Crawler aussperren will, nutzt robots.txt mit User-agent: Googlebot + Disallow:. Achtung: robots.txt blockt das Crawling, nicht die Indexierung — noindex gehört in den Meta-Tag.

Abgrenzung zu ähnlichen Begriffen

Google-Extended ist ein separater User-Agent für Googles KI-Trainings- und Vertex-AI-Daten — er beeinflusst die normale Google-Suche nicht. Wer KI-Training blocken, aber im Index bleiben will, blockt nur Google-Extended, nicht Googlebot.

Entdecke mehr

Glossar

301-Weiterleitung

Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.

Lexikon

Technisches SEO — was Google wirklich crawlen, rendern und indexieren muss

Wie Crawl-Budget, Robots, Sitemap, JS-Rendering, Indexierung, Canonical und Core Web Vitals zusammenspielen — der vollständige Bogen für produktive Sites.

News

Google Search Central Live Toronto 2026 — was Google offiziell zur Zukunft der Suche sagt

Information Gain als neues Leitbild, Google-Extended klar eingeordnet, AI Mode mit 93 % Zero-Click. Die wichtigsten Aussagen aus Toronto.

Themenuebersicht

Technisches SEOCrawling & Indexierung