Tokens und Tokenisierung bei LLMs erklärt

Redaktion · 6. Juni 2026

Tokens und Tokenisierung bei LLMs erklärt

Ein großes Sprachmodell (LLM) liest keinen Text so, wie du ihn liest. Es sieht Tokens — kleine Texteinheiten, in die jeder Prompt und jede Antwort zerlegt wird. Tokens sind die Währung, in der LLMs rechnen: Sie bestimmen, was du bezahlst, wie viel in ein Kontextfenster passt und wie schnell eine Antwort entsteht. Wer mit LLMs arbeitet — ob in der API oder beim Prompting — sollte verstehen, was ein Token ist und wie die Zerlegung funktioniert.

Was ein Token ist

Ein Token ist eine Texteinheit, die das Modell als kleinste Verarbeitungs-Einheit behandelt. Wichtig: Ein Token ist nicht dasselbe wie ein Wort. Oft ist es ein Wort-Fragment, manchmal ein ganzes Wort, manchmal nur ein Satzzeichen oder ein Leerzeichen.

Ein paar Beispiele machen das greifbar. Das englische Wort „token” ist ein einziges Token. „tokenization” wird dagegen oft in mehrere Stücke zerlegt — etwa „token” + „ization”. Häufige Wörter bekommen ein eigenes Token, seltene oder zusammengesetzte Wörter werden in bekannte Teile zerschnitten. Der ausführliche Begriff findet sich im Glossar unter Token.

Wie ein Tokenizer Text zerlegt

Das Zerlegen übernimmt der Tokenizer. Die meisten modernen LLMs nutzen dafür ein Verfahren namens Byte-Pair-Encoding (BPE) oder eine Variante davon.

Die Idee ist einfach: BPE startet mit einzelnen Zeichen und führt schrittweise die häufigsten benachbarten Paare zu neuen Einheiten zusammen. Über riesige Textmengen entsteht so ein Vokabular, in dem häufige Wörter und Wortteile je ein Token sind, seltene Sequenzen aber aus mehreren Tokens bestehen. Das ist ein guter Kompromiss zwischen „jedes Zeichen einzeln” (zu viele Tokens) und „jedes Wort als Token” (Vokabular zu groß, unbekannte Wörter nicht abbildbar).

Praktisch heißt das: Du kannst den Tokenizer eines Anbieters meist online ausprobieren und siehst, wie dein konkreter Text zerlegt wird. Das ist die zuverlässigste Methode, um eine Token-Zahl zu bestimmen — wichtiger als jede Faustregel.

Faustregeln zur Token-Schätzung

Für eine grobe Abschätzung haben sich zwei Werte etabliert, die für englischen Text gelten:

1 Token ≈ 4 Zeichen
1 Token ≈ 0,75 Wörter (umgekehrt: 100 Wörter ≈ 133 Tokens)

Diese Zahlen sind Näherungswerte, keine exakte Umrechnung. Sie helfen, eine Größenordnung einzuschätzen, etwa ob ein Dokument grob in ein Kontextfenster passt.

Deutsch braucht oft mehr Tokens als Englisch

Die Faustregeln gelten für Englisch. Deutsch braucht pro Wort tendenziell mehr Tokens — vor allem wegen der langen Komposita (zusammengesetzte Wörter wie „Lebensversicherungsgesellschaft”), die ohne Leerzeichen geschrieben werden und vom Tokenizer in mehrere Stücke zerlegt werden müssen. Auch Umlaute und ältere Vokabulare, die auf englischen Texten optimiert wurden, erhöhen die Token-Zahl. Rechne bei deutschem Text mit spürbar mehr Tokens als die englische Faustregel suggeriert.

Warum Tokens über Kosten entscheiden

LLM-APIs rechnen pro Token ab, nicht pro Wort oder Zeichen. Üblicherweise gibt es einen Preis pro 1.000 oder pro 1 Million Tokens. Entscheidend ist die Trennung in zwei Richtungen:

Input-Tokens — alles, was du ins Modell hineinschickst: System-Prompt, Anweisung, Kontext, bisheriger Gesprächsverlauf.
Output-Tokens — alles, was das Modell generiert.

Output-Tokens sind bei den meisten Anbietern deutlich teurer als Input-Tokens. Das hat direkte Folgen fürs Prompting: Ein langer Kontext (viel Input) ist oft günstiger als eine lange generierte Antwort (viel Output). Wer Kosten senken will, kürzt zuerst die erzwungene Ausgabelänge, nicht zwingend den Input.

Tokens, Kontextfenster und Geschwindigkeit

Tokens bestimmen noch zwei weitere harte Grenzen:

Kontextfenster. Jedes Modell hat ein maximales Kontextfenster, gemessen in Tokens. Input und bisheriger Verlauf plus die geplante Ausgabe müssen zusammen hineinpassen. Ist der Verlauf zu lang, muss er gekürzt oder zusammengefasst werden — sonst bricht die Anfrage ab.

Latenz. Ein Modell generiert Output Token für Token. Mehr Output-Tokens bedeuten direkt mehr Rechenzeit und damit eine langsamere Antwort. Eine knappe Antwort kommt schneller als ein langer Aufsatz — unabhängig vom Inhalt.

Beides zusammen erklärt, warum Token-Bewusstsein nicht nur eine Kostenfrage ist, sondern auch über Machbarkeit (passt es ins Fenster?) und Nutzererlebnis (wie schnell antwortet es?) entscheidet.

FAQ

Ist ein Token dasselbe wie ein Wort? Nein. Ein Token ist oft ein Wort-Fragment. Häufige kurze Wörter sind ein Token, längere oder seltene Wörter werden in mehrere Tokens zerlegt. Als grobe Regel gilt für Englisch: ein Token entspricht etwa 0,75 Wörtern oder rund vier Zeichen.

Wie zähle ich Tokens zuverlässig? Nutze den Tokenizer des konkreten Modells — viele Anbieter stellen ihn online oder per API bereit. Das ist genauer als jede Faustregel, weil jedes Modell sein eigenes Vokabular hat. Verlass dich nicht auf die Wortzahl.

Warum braucht deutscher Text mehr Tokens? Vor allem wegen der langen zusammengesetzten Wörter ohne Leerzeichen, die der Tokenizer in mehrere Stücke zerschneiden muss. Auch Umlaute und auf Englisch optimierte Vokabulare erhöhen die Token-Zahl pro Wort gegenüber Englisch.

Was kostet mehr — Input oder Output? Output-Tokens sind bei den meisten Anbietern teurer als Input-Tokens. Ein langer Kontext ist deshalb oft günstiger als eine lange generierte Antwort. Zum Kostensenken zuerst die Ausgabelänge begrenzen.

Was hat das Kontextfenster mit Tokens zu tun? Das Kontextfenster ist die maximale Token-Zahl, die Input, bisheriger Verlauf und geplante Ausgabe zusammen nicht überschreiten dürfen. Wird es zu eng, muss der Verlauf gekürzt oder zusammengefasst werden.

Entdecke mehr

Glossar

Themenuebersicht

KI-Konzepte LLM-Grundlagen