Begriff
Token
Ein Token ist die kleinste Einheit, mit der ein Sprachmodell intern arbeitet — meist ein Wortteil, gelegentlich ein einzelnes Zeichen.
Token — ausführlicher erklärt
Sprachmodelle verarbeiten Text nicht Buchstabe für Buchstabe und auch nicht Wort für Wort, sondern in Tokens — kleinen Bausteinen, die meist Wortteilen entsprechen. Die genaue Zerlegung bestimmt der Tokenizer des jeweiligen Modells. Als Faustregel entsprechen rund vier Zeichen englischer Text einem Token; Deutsch braucht durch Komposita und Flexion tendenziell mehr Tokens pro Wort.
Praxisbezug
Tokens sind die zentrale Abrechnungseinheit von API-Aufrufen: Eingabe-Tokens und Ausgabe-Tokens werden meist getrennt bepreist. Sie bestimmen außerdem die Auslastung des Kontextfensters und die Antwortgeschwindigkeit — längere Eingaben kosten nicht nur mehr Geld, sondern auch mehr Zeit.
Abgrenzung zu ähnlichen Begriffen
Ein Token ist nicht dasselbe wie ein Wort: ein langes Wort wie „Versionskontrollsystem” wird typischerweise in mehrere Tokens zerlegt. Auch nicht zu verwechseln mit Authentifizierungs-Tokens (API-Keys o. Ä.) — sprachlich identischer Begriff, völlig anderes Konzept.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarReasoning Effort
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.