Begriff
LLM-Crawler / AI-Bots
Crawler von KI-Anbietern, die Webinhalte für Training oder Live-Antworten erfassen. Beispiele — GPTBot, ClaudeBot, PerplexityBot, Google-Extended.
LLM-Crawler / AI-Bots — ausführlicher erklärt
LLM-Crawler sind eine eigene Kategorie von Web-Crawlern, die getrennt von klassischen Such-Crawlern arbeiten. Zwei Hauptverwendungen: Training (einmalige oder periodische Inhalte für Modell-Training, z. B. GPTBot von OpenAI, ClaudeBot von Anthropic, Google-Extended für Google-Modelle) und Live-Retrieval (zur Antwortzeit für Chat- oder Such-Antworten, z. B. PerplexityBot, OAI-SearchBot, ChatGPT-User).
Steuerung läuft analog zu klassischen Crawlern über robots.txt mit dem jeweiligen User-Agent. Die meisten großen Anbieter respektieren robots.txt öffentlich — wer KI-Training blocken will, listet die User-Agents explizit auf.
Beispiel / Praxisbezug
robots.txt-Eintrag für komplette KI-Blockade:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Granular: Training blocken, Live-Retrieval erlauben (z. B. OAI-SearchBot und ChatGPT-User zulassen, aber GPTBot blocken). Die Live-Retrieval-Bots sind die, die in KI-Antworten eine Quelle für die Site anlegen können.
Abgrenzung zu ähnlichen Begriffen
Googlebot ≠ Google-Extended: Googlebot crawlt für die klassische Google-Suche und ist von Google-Extended getrennt. Wer Google-Extended blockt, fliegt nicht aus dem Such-Index — verliert aber die Chance, in Gemini- und Vertex-AI-Trainings vorzukommen.
Entdecke mehr
301-Weiterleitung
Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.
LexikonTechnisches SEO — was Google wirklich crawlen, rendern und indexieren muss
Wie Crawl-Budget, Robots, Sitemap, JS-Rendering, Indexierung, Canonical und Core Web Vitals zusammenspielen — der vollständige Bogen für produktive Sites.
NewsGoogle Search Central Live Toronto 2026 — was Google offiziell zur Zukunft der Suche sagt
Information Gain als neues Leitbild, Google-Extended klar eingeordnet, AI Mode mit 93 % Zero-Click. Die wichtigsten Aussagen aus Toronto.