Begriff
robots.txt
Die robots.txt ist eine Textdatei im Root einer Domain, die Suchmaschinen-Crawlern Regeln vorgibt, welche URLs gecrawlt werden dürfen und welche nicht.
robots.txt — ausführlicher erklärt
Die robots.txt liegt verbindlich unter https://example.com/robots.txt und folgt dem Robots-Exclusion-Protokoll. Pro User-Agent (z. B. Googlebot, Bingbot oder * für alle) lassen sich Allow:- und Disallow:-Regeln definieren. Crawler seriöser Anbieter halten sich an die Vorgaben; technisch erzwingen lässt sich nichts.
Wichtig zu unterscheiden: robots.txt steuert nur das Crawling, nicht die Indexierung. Eine per Disallow gesperrte URL kann trotzdem im Index landen, wenn sie von außen verlinkt ist — Google zeigt sie dann ohne Snippet. Wer sicher aus dem Index will, braucht stattdessen ein noindex-Meta-Tag oder einen HTTP-Header — aber dafür muss die Seite crawlbar sein, sonst sieht Googlebot das Tag gar nicht.
Beispiel / Praxisbezug
User-agent: *
Disallow: /admin/
Disallow: /search?
Allow: /
Sitemap: https://example.com/sitemap.xmlDiese Konfiguration sperrt den Admin-Bereich und parametrisierte Suchergebnisseiten, gibt den Rest frei und verlinkt die Sitemap.
Abgrenzung zu ähnlichen Begriffen
robots.txt = Crawl-Steuerung. Das noindex-Meta-Tag = Index-Steuerung. Canonical Tag = Duplikat-Steuerung. Drei verschiedene Werkzeuge für drei verschiedene Probleme — niemals durcheinanderbringen.
Entdecke mehr
301-Weiterleitung
Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.
LexikonTechnisches SEO — was Google wirklich crawlen, rendern und indexieren muss
Wie Crawl-Budget, Robots, Sitemap, JS-Rendering, Indexierung, Canonical und Core Web Vitals zusammenspielen — der vollständige Bogen für produktive Sites.
NewsGoogle Search Central Live Toronto 2026 — was Google offiziell zur Zukunft der Suche sagt
Information Gain als neues Leitbild, Google-Extended klar eingeordnet, AI Mode mit 93 % Zero-Click. Die wichtigsten Aussagen aus Toronto.