llms.txt — was es ist und was es (nicht) bringt

Redaktion ·

llms.txt ist ein vorgeschlagenes Format, das LLMs eine kuratierte, gut lesbare Übersicht der wichtigsten Inhalte einer Website geben soll — eine Markdown-Datei unter /llms.txt, gedacht als Wegweiser für KI-Systeme. Die Idee klingt einleuchtend und wird gerade massiv beworben. Die ehrliche Einordnung vorweg: Es ist kein ratifizierter Standard, und es gibt bis heute keinen belastbaren Nachweis, dass die großen Anbieter die Datei tatsächlich auswerten. Dieser Artikel erklärt, was llms.txt ist, woher es kommt — und warum du den Aufwand-Nutzen nüchtern bewerten solltest.

Was llms.txt sein will

llms.txt ist eine Markdown-Datei im Root einer Domain (https://beispiel.de/llms.txt). Anders als die meisten Maschinen-Dateien nutzt sie bewusst Markdown statt XML — also ein Format, das sowohl Menschen als auch Sprachmodelle gut lesen. Der Gedanke: Statt einem LLM die volle, oft mit Navigation, Werbung und Boilerplate verstopfte HTML-Seite vorzusetzen, liefert llms.txt eine kuratierte Kurzfassung mit Hintergrund und Links zu den wichtigsten Inhalten.

Der Aufbau ist schlank vorgeschrieben:

  • Ein H1 mit dem Namen des Projekts oder der Site — der einzige Pflichtteil.
  • Optional ein Blockquote mit einer Kurzbeschreibung.
  • Beliebig viele H2-Abschnitte, die jeweils Listen von Links (mit kurzer Erläuterung) auf detaillierte Markdown-Versionen einzelner Seiten enthalten.

Verbreitet ist außerdem eine Variante llms-full.txt, die nicht nur verlinkt, sondern den vollständigen Inhalt direkt einbettet — gedacht für Fälle, in denen das Modell alles auf einmal aufnehmen soll.

Herkunft: ein Vorschlag, kein Beschluss

Die Idee stammt von Jeremy Howard (Mitgründer von Answer.AI), der sie im September 2024 vorschlug. Wichtig für die Einordnung: Es war ein Vorschlag einer Einzelperson bzw. eines kleinen Teams, kein Beschluss eines Standardisierungsgremiums wie der W3C oder IETF. Die Spezifikation auf llmstxt.org ist bis heute offen und informell, die Weiterentwicklung läuft über GitHub-Diskussionen und einen Discord. Das ist kein Makel — robots.txt begann ähnlich — aber es ist der entscheidende Unterschied zur Realität, in der die KI-Anbieter sitzen.

Die ehrliche Statusbestimmung

Hier wird es unbequem, und genau das ist der Punkt, an dem die meisten llms.txt-Anleitungen schweigen: Kein großer LLM-Anbieter wertet die Datei nachweislich aus.

  • Google unterstützt llms.txt nicht und plant es laut eigenen Aussagen nicht. John Mueller verglich es öffentlich mit dem längst ignorierten keywords-Meta-Tag und merkte an, dass kein KI-Dienst die Datei angefordert habe (Stand Ende 2025).
  • OpenAI verweist Seitenbetreiber für die Crawler-Steuerung auf robots.txt. Server-Log-Analysen zeigen, dass OpenAI-Crawler /llms.txt bei normalen Besuchen nicht abrufen.
  • Anthropic, OpenAI und Perplexity haben zwar selbst eine llms.txt — aber auf ihren Entwickler-Doku-Sites, als strukturierter Einstieg für Coding-Assistenten in die API-Doku. Dass diese Firmen eine eigene Datei pflegen, beweist nicht, dass sie deine llms.txt im Training oder Retrieval berücksichtigen.

Das ist die zentrale Verwechslung: Eine llms.txt auf docs.anthropic.com zu sehen, heißt nicht, dass deine llms.txt auf der Firmen-Website in irgendeinen Antwortprozess einfließt. Kein Standardgremium hat das Format ratifiziert, kein Modellanbieter sich formal zur Auswertung verpflichtet.

Abgrenzung zu robots.txt und Sitemap

llms.txt wird gern mit zwei etablierten Dateien in einen Topf geworfen, erfüllt aber einen anderen Zweck:

  • robots.txt regelt die Crawl-Erlaubnis — welcher Bot welche Pfade abrufen darf. Es ist eine Zugriffssteuerung, kein Inhaltsangebot. Wer KI-Crawler aussperren oder zulassen will, tut das hier (bzw. über die LLM-Crawler-spezifischen User-Agents).
  • Sitemap dient der Discovery — sie listet alle indexierbaren URLs, damit Suchmaschinen nichts übersehen. Sie sagt nichts über Inhalt oder Wichtigkeit aus.
  • llms.txt will Kuration liefern — eine redaktionell ausgewählte, lesbare Übersicht der wichtigsten Inhalte. Es ersetzt weder robots.txt noch Sitemap, sondern wäre eine dritte, ergänzende Schicht — wenn sie denn genutzt würde.

Aufwand-Nutzen realistisch bewerten

Die Datei ist billig erstellt: Bei einer überschaubaren Site schreibst du sie in einer Stunde, bei einer dokumentationslastigen Site lässt sie sich generieren. Das Risiko ist gering, der direkte Schaden gleich null. Aber „billig” ist nicht „nützlich”. Solange kein großer Anbieter die Datei nachweislich liest, ist der erwartbare Nutzen für die KI-Sichtbarkeit spekulativ. Eine vernünftige Haltung: Wenn du ohnehin saubere Markdown-Versionen deiner Inhalte hast, leg eine llms.txt als günstige Wette auf die Zukunft an — aber priorisiere sie nicht über Dinge mit belegter Wirkung wie strukturierte Daten, klare Inhalte und robots.txt-Hygiene für KI-Crawler.

FAQ

FAQ

Nutzen ChatGPT, Claude oder Google llms.txt wirklich?
Nach aktuellem Stand (Ende 2025/Anfang 2026) gibt es keinen belastbaren Nachweis dafür. Google unterstützt es ausdrücklich nicht, OpenAI verweist auf robots.txt, und keine eigene llms.txt der Anbieter beweist, dass sie deine Datei auswerten. Der Nutzen für die KI-Sichtbarkeit ist derzeit spekulativ.
Ist llms.txt ein offizieller Standard?
Nein. Es ist ein 2024 von Jeremy Howard (Answer.AI) vorgeschlagenes, informelles Format. Kein Standardisierungsgremium hat es ratifiziert, und die Spezifikation entwickelt sich offen über GitHub und Discord weiter.
Ersetzt llms.txt meine robots.txt oder Sitemap?
Nein. robots.txt steuert die Crawl-Erlaubnis, die Sitemap dient der URL-Discovery. llms.txt soll eine kuratierte Inhaltsübersicht für LLMs liefern — eine andere, ergänzende Funktion, keine davon ersetzt die anderen.
Schadet eine llms.txt, wenn sie ohnehin niemand liest?
Direkt nein — das Risiko ist gering. Google empfiehlt allerdings, die Datei auf noindex zu setzen, damit sie nicht selbst als Suchergebnis auftaucht. Der Aufwand ist gering, der erwartbare Nutzen aktuell aber unbelegt.
Wo bringt llms.txt heute schon etwas?
Bei Coding-Assistenten und Doku-Tools, die eine llms.txt gezielt als strukturierten Einstieg in eine API-Dokumentation laden, wenn der Nutzer die URL angibt. Das ist On-Demand-Nutzung — nicht das automatische Einsammeln durch Such-KIs.

Fazit

llms.txt ist eine charmante Idee mit ehrlichem Ziel: KI-Systemen eine saubere, kuratierte Sicht auf eine Website geben, statt sie durch HTML-Müll waten zu lassen. Technisch ist die Datei trivial und risikoarm. Was fehlt, ist die Nachfrage-Seite: Kein großer Anbieter wertet sie nachweislich aus, Google lehnt sie ab, und die oft zitierten Anbieter-eigenen Dateien beweisen nichts über deine. Behandle llms.txt entsprechend — als günstige, optionale Zukunftswette, nicht als Pflicht-Hebel für KI-Sichtbarkeit. Wer Wirkung will, investiert zuerst in das, was belegt funktioniert: gute Inhalte, strukturierte Daten und saubere Crawler-Steuerung.