Begriff
X-Robots-Tag
HTTP-Header, der Robots-Direktiven (z. B. noindex, nofollow) auf Server-Ebene setzt — wirkt auch für Nicht-HTML-Ressourcen wie PDFs, Bilder oder JSON-Antworten.
X-Robots-Tag — ausführlicher erklärt
Der X-Robots-Tag-HTTP-Header ist die Server-seitige Entsprechung zu <meta name="robots">. Beispiel: X-Robots-Tag: noindex, nofollow. Er kann pro Datei, pro URL-Pattern oder global ausgespielt werden — dort, wo <meta>-Tags nicht greifen, weil die Ressource kein HTML ist.
Typische Anwendungen: PDF-Dateien aus dem Index nehmen, generierte Bilder „noindex” setzen, ganze Verzeichnisse via Webserver-Konfiguration steuern. Außerdem unterstützt der Header alle Standard-Direktiven inkl. noimageindex, unavailable_after: <DATUM>, noarchive, nosnippet.
Beispiel / Praxisbezug
Apache: Header set X-Robots-Tag "noindex, nofollow" für <FilesMatch "\.pdf$">. Nginx: add_header X-Robots-Tag "noindex" always; im passenden location-Block. Die Direktive landet dann in jeder Antwort dieses Patterns — auch ohne HTML-Touch.
Abgrenzung zu ähnlichen Begriffen
X-Robots-Tag und Meta-Robots sind funktional gleichwertig, nur Transport unterschiedlich (HTTP-Header vs. HTML-Meta). robots.txt dagegen blockiert das Crawlen, nicht das Indexieren — wer eine bereits indexierte URL aus dem Index will, braucht noindex per Meta oder Header und darf sie nicht gleichzeitig in robots.txt blocken (sonst sieht der Bot die Direktive nie).
Entdecke mehr
301-Weiterleitung
Eine 301-Weiterleitung ist ein HTTP-Statuscode, der eine URL dauerhaft auf eine andere weiterleitet — der Standard für URL-Änderungen, Domain-Umzüge und Site-Migrationen.
LexikonTechnisches SEO — was Google wirklich crawlen, rendern und indexieren muss
Wie Crawl-Budget, Robots, Sitemap, JS-Rendering, Indexierung, Canonical und Core Web Vitals zusammenspielen — der vollständige Bogen für produktive Sites.
NewsGoogle Search Central Live Toronto 2026 — was Google offiziell zur Zukunft der Suche sagt
Information Gain als neues Leitbild, Google-Extended klar eingeordnet, AI Mode mit 93 % Zero-Click. Die wichtigsten Aussagen aus Toronto.