Hauptbereich
Agency
geo

AI-Crawler steuern (GPTBot, ClaudeBot, PerplexityBot)

Redaktion ·

AI-Crawler steuern (GPTBot, ClaudeBot, PerplexityBot)

Seit ChatGPT, Claude und Perplexity Antworten aus dem Web ziehen, besuchen eine ganze Reihe neuer Bots deine Site. Und anders als beim klassischen Googlebot, bei dem die Frage nur „indexieren oder nicht” lautet, geht es hier um zwei sehr verschiedene Dinge: Wird dein Content benutzt, um ein KI-Modell zu trainieren? Oder wird er live abgerufen, um dich in einer KI-Antwort sichtbar zu machen?

Das ist die zentrale Unterscheidung dieses Artikels — und der Grund, warum „alle KI-Bots blocken” eine schlechtere Idee ist, als sie klingt. Dieser Text ist die Brücke zwischen technischem SEO und GEO: Du steuerst per robots.txt, wer rein darf — aber du musst wissen, was du damit aufgibst.

Training-Crawler vs. Retrieval-Crawler

Die wichtigste Linie verläuft nicht zwischen Anbietern, sondern zwischen zwei Zwecken:

Training-Crawler sammeln öffentlich erreichbare Inhalte, um damit KI-Modelle zu trainieren oder zu verbessern. Das passiert im Hintergrund, oft Monate vor jeder Nutzeranfrage. Blockst du sie, sagst du im Kern: „Mein Content soll nicht in künftige Trainingsdaten.” Auf deine Sichtbarkeit in laufenden KI-Antworten hat das keinen direkten Einfluss.

Retrieval-Crawler holen Inhalte zur Antwortzeit — wenn ein Nutzer gerade eine Frage stellt und die KI das Web durchsucht, um aktuell zu antworten. Blockst du diese, riskierst du, in genau diesen KI-Antworten nicht mehr aufzutauchen. Das ist der entscheidende Punkt: Einen Retrieval-Bot zu blocken kann deine Sichtbarkeit kosten, oft binnen Stunden.

Wer das verwechselt und pauschal alles sperrt, schützt vielleicht seine Trainingsdaten — schneidet sich aber gleichzeitig von der KI-Suche ab. Die saubere Haltung ist eine bewusste Entscheidung pro Bot, nicht ein Rundumschlag.

Die wichtigsten Bots und ihr Zweck (Stand Juni 2026)

Die drei großen Anbieter betreiben inzwischen jeweils mehrere Bots mit getrennten Aufgaben:

OpenAI (ChatGPT) — drei Bots:

  • GPTBot — Training. Sammelt Inhalte fürs Modelltraining. Respektiert robots.txt.
  • OAI-SearchBot — Suche. Indexiert für die Such-Features in ChatGPT. Respektiert robots.txt; Ausschluss heißt: nicht mehr in ChatGPT-Suchergebnissen.
  • ChatGPT-User — nutzerausgelöstes Abrufen. Holt eine Seite, wenn ein Nutzer es in ChatGPT anstößt. Laut OpenAI gelten robots.txt-Regeln hier nicht zwingend, weil es eine direkte Nutzeraktion ist.

Anthropic (Claude) — drei Bots:

  • ClaudeBot — Training. Respektiert robots.txt.
  • Claude-SearchBot — Suche. Baut die Suchergebnisse in Claude auf. Respektiert robots.txt.
  • Claude-User — nutzerausgelöstes Abrufen für Claude. Respektiert laut Anthropic robots.txt ebenfalls. (Hinweis: Der ältere Token anthropic-ai ist überholt — heute gilt ClaudeBot und das Drei-Bot-Framework.)

Google — Google-Extended. Ein reiner Steuerungs-Token: Sperrst du ihn, fließt dein Content nicht ins Gemini-Training — du bleibst aber voll in der Google-Suche indexiert. Das normale Crawling läuft über den Googlebot, davon getrennt.

Perplexity — PerplexityBot (Indexierung) und Perplexity-User (Echtzeit-Abruf zur Antwortzeit).

Common Crawl — CCBot. Kein KI-Anbieter im engeren Sinn, aber der Common-Crawl-Datensatz ist eine zentrale Trainingsquelle vieler KI-Firmen.

ByteDance — Bytespider. Sammelt Trainingsdaten für ByteDance-Modelle.

Steuerung per robots.txt

Die Steuerung läuft über User-agent-Direktiven in der robots.txt. Pro Bot ein Block:

# Training blocken
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Suche und Retrieval erlauben (kein Eintrag = erlaubt)
# OAI-SearchBot, Claude-SearchBot, PerplexityBot dürfen

Dieses „chirurgische” Muster ist die meistempfohlene Strategie (Stand 2026): Training-Crawler sperren, Such- und Retrieval-Bots erlauben. So bleibt dein Content aus den Trainings-Pipelines, deine Sichtbarkeit in der KI-Suche bleibt aber erhalten.

Die strategische Abwägung

Es gibt keine universell richtige Antwort — nur eine bewusste Entscheidung entlang deiner Ziele:

  • Du willst maximale Sichtbarkeit in KI-Antworten? Dann erlaube zumindest alle Retrieval- und Such-Bots. Ob du Training zulässt, ist eine separate Frage.
  • Du willst verhindern, dass dein Content kostenlos Modelle trainiert? Sperre die Training-Crawler — aber lass die Retrieval-Bots durch, sonst verschwindest du aus den Antworten.
  • Du hast einzigartige, proprietäre Inhalte? Hier kann das Sperren der Training-Crawler sinnvoll sein, um nicht ungefragt Teil eines Modells zu werden.

Der häufigste Fehler ist der Rundumschlag: ein User-agent: * mit Disallow: / für „alles KI” — und damit unbeabsichtigt das Abschneiden der eigenen Sichtbarkeit in ChatGPT-Suche, Claude und Perplexity.

Nicht jeder Bot hält sich an robots.txt

Ein nüchterner Vorbehalt zum Schluss: robots.txt ist eine Bitte, kein Zaun. Seriöse Anbieter wie OpenAI, Anthropic und Google halten sich an ihre eigenen Direktiven. Aber:

  • Perplexity wurde von Cloudflare dabei beobachtet, undeklarierte Crawler mit generischen User-Agent-Strings einzusetzen, um Seiten mit Blockier-Direktiven trotzdem abzurufen (Quelle: ALM Corp / Cloudflare-Recherche, Stand 2026). Für solche Fälle reicht robots.txt nicht — dann braucht es Sperren auf Server- oder CDN-Ebene.
  • Bots wie Bytespider haben in der Vergangenheit robots.txt nicht zuverlässig respektiert.

Heißt praktisch: robots.txt ist die erste Verteidigungslinie und für die compliant agierenden Anbieter völlig ausreichend. Wer Inhalte hart schützen muss, ergänzt sie um Server-seitige Regeln. Für die freiwillige Steuerung von Sichtbarkeit und Training ist sie das richtige Werkzeug.

Wer den nächsten Schritt gehen will — gezielt Inhalte für KI-Systeme bereitstellen statt nur Zugriff zu regeln — findet den Einstieg bei llms.txt.

FAQ

Sollte ich alle KI-Crawler blocken? Fast nie pauschal. Training-Crawler zu sperren ist eine legitime Entscheidung, wenn du nicht möchtest, dass dein Content Modelle trainiert. Retrieval- und Such-Bots pauschal mitzusperren kostet dich aber Sichtbarkeit in KI-Antworten — und genau die willst du im GEO-Kontext meist behalten.

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot? GPTBot sammelt Inhalte fürs Training der OpenAI-Modelle — das passiert im Voraus, unabhängig von einzelnen Anfragen. OAI-SearchBot indexiert für die Such-Features in ChatGPT, ist also für deine Sichtbarkeit in ChatGPT-Suchergebnissen zuständig. Beide respektieren robots.txt, aber das Sperren hat ganz verschiedene Folgen.

Verschwinde ich aus ChatGPT, wenn ich GPTBot blocke? Nein, nicht direkt. GPTBot ist der Training-Crawler. Für deine Sichtbarkeit in der ChatGPT-Suche ist OAI-SearchBot zuständig — und Live-Abrufe laufen über ChatGPT-User. Blockst du nur GPTBot, schützt du deine Trainingsdaten, bleibst aber in der ChatGPT-Suche grundsätzlich auffindbar.

Reicht robots.txt, um KI-Crawler sicher auszusperren? Für die seriösen, compliant agierenden Anbieter (OpenAI, Anthropic, Google) ja. Aber robots.txt ist eine freiwillige Konvention, kein technischer Zaun. Einzelne Akteure wurden beim Umgehen beobachtet. Wer Inhalte hart schützen muss, ergänzt robots.txt um Sperren auf Server- oder CDN-Ebene.

Was bringt es, Google-Extended zu sperren? Google-Extended steuert ausschließlich, ob dein Content ins Gemini-Training fließt. Sperrst du ihn, bleibst du voll in der normalen Google-Suche indexiert — das übernimmt der separate Googlebot. Es ist also ein gezielter Opt-out aus dem KI-Training, ohne deine Such-Sichtbarkeit zu berühren.

Themenuebersicht

GEOAI-CrawlerGEO-Grundlagen