Begriff
Tokenizer
Ein Tokenizer ist das Programm, das Text in Tokens zerlegt, bevor ein Sprachmodell ihn verarbeiten kann — er bestimmt, wie viele Tokens ein Text kostet.
Tokenizer — ausführlicher erklärt
Bevor ein Sprachmodell einen Prompt lesen kann, muss der Text in Tokens zerlegt werden — kleine Einheiten, die meist Wortteilen entsprechen. Genau das ist die Aufgabe des Tokenizers. Jede Modellfamilie bringt ihren eigenen mit: OpenAIs GPT-Modelle nutzen tiktoken, Anthropics Claude-Modelle setzen seit Opus 4.7 einen neuen Tokenizer ein, Meta-Modelle verwenden SentencePiece-Varianten. Weil verschiedene Tokenizer denselben Text in eine unterschiedliche Anzahl Tokens zerlegen, unterscheiden sich auch die Kosten pro Request je nach Modell — selbst bei identischem Preis pro Token.
Praxisbezug
Ein konkretes Beispiel: Opus 4.7 verwendet einen neuen Tokenizer, der aus demselben Text bis zu 35 % mehr Tokens erzeugt als der Tokenizer von Opus 4.6. Der Preis pro Token ist identisch ($5 / MTok Input, $25 / MTok Output), aber der reale Preis pro Request steigt um bis zu 35 %, weil mehr Tokens anfallen. Besonders Code und strukturierte Daten sind betroffen. Wer die Tokenizer-Eigenheiten seines Modells kennt, kann Prompts kürzen, Caching gezielter einsetzen und die tatsächlichen Kosten besser einschätzen.
Abgrenzung zu ähnlichen Begriffen
Ein Tokenizer ist nicht dasselbe wie ein Token: Der Tokenizer ist das Werkzeug, der Token ist das Ergebnis. Auch nicht zu verwechseln mit Embeddings — die entstehen erst nach der Tokenisierung, wenn das Modell die Tokens in numerische Vektoren umwandelt.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarReasoning Effort
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.