Begriff
Thinking Budget
Das Thinking Budget (Token-Budget) ist die maximale Zahl interner Reasoning-Tokens, die ein Reasoning-Modell pro Anfrage fürs „Nachdenken" verbrauchen darf — es steuert die Abwägung zwischen Antworttiefe und Kosten bzw. Latenz.
Thinking Budget — ausführlicher erklärt
Reasoning-Modelle erzeugen vor der eigentlichen Antwort eine interne Kette von Zwischenüberlegungen (Reasoning-Tokens, siehe Chain-of-Thought). Diese Tokens sind für den Nutzer meist nicht sichtbar, werden aber generiert, kosten Rechenzeit und — entscheidend — sie werden in der Regel wie normale Output-Tokens abgerechnet. Das Thinking Budget ist die Obergrenze dafür: Es legt fest, wie viele Tokens das Modell maximal in dieses interne Nachdenken investieren darf, bevor es die finale Antwort formuliert.
Der Hebel dahinter ist eine direkte Abwägung. Ein höheres Budget gibt dem Modell mehr Raum, mehrschrittige Probleme sauber durchzudenken, und hebt bei komplexen Aufgaben (Mathematik, Code-Analyse, längere Beweisketten) die Trefferquote. Es erhöht aber zugleich Latenz und Kosten. Ein knappes Budget liefert schnellere, günstigere Antworten, kann bei anspruchsvollen Aufgaben aber zu vorschnellen oder unvollständigen Ergebnissen führen. In der Praxis ist das Budget kein „mehr ist immer besser”-Regler: Ab einem aufgabenabhängigen Punkt bringt zusätzliches Nachdenken kaum noch Mehrwert und verbrennt nur Tokens.
Beispiel / Praxisbezug
Die Anbieter setzen das Konzept unterschiedlich um. Google Gemini erwartet bei thinking_budget eine konkrete Tokenzahl als weiche Obergrenze. Anthropic nutzte mit budget_tokens (extended thinking) lange dieselbe Logik einer harten Token-Obergrenze; in den aktuellen Modellen (Stand Juni 2026, ab Opus 4.6) ist dieser feste Token-Wert jedoch durch „adaptive thinking” plus einen effort-Parameter (low/medium/high/max) ersetzt — budget_tokens wird dort abgelehnt. OpenAI verzichtet ganz auf eine Token-Zahl und steuert die Reasoning-Tiefe ausschließlich über reasoning_effort (low/medium/high), legt also indirekt das interne Budget fest.
Kostenrelevanz: Da Reasoning-Tokens wie Output-Tokens abgerechnet werden, kann eine sichtbar kurze Antwort von 500 Tokens insgesamt 2.000 bis 3.000 berechnete Tokens kosten, sobald das Nachdenken mitzählt. In Workloads wie Code-Review berichten Anwender von 4- bis 5-fachem Token-Overhead — weshalb das Budget zunehmend als echte Kostenposition geplant wird.
Abgrenzung zu ähnlichen Begriffen
Das Thinking Budget begrenzt die internen Reasoning-Tokens vor der Antwort; max_tokens (bzw. Output-Token-Limit) begrenzt dagegen die sichtbare Antwortlänge — beides sind unterschiedliche Grenzen und können sich gegenseitig beschneiden. Reasoning Effort ist die abstrakte, stufenbasierte Variante derselben Steuerung (low/medium/high statt einer exakten Tokenzahl). Chain-of-Thought beschreibt das zugrunde liegende Verfahren des schrittweisen Denkens, das Thinking Budget mengenmäßig deckelt.
Quellen
- Anthropic, Extended Thinking & adaptive thinking / effort (Stand Juni 2026)
- Google Cloud, Vertex AI — Thinking (
thinking_budget) - OpenAI,
reasoning_effort(low/medium/high)
Entdecke mehr
Chain-of-Thought
Chain-of-Thought (CoT) ist eine Prompting-Technik, bei der das Modell aufgefordert wird, seinen Lösungsweg in Zwischenschritten auszuformulieren — das verbessert die Trefferquote bei Aufgaben mit mehreren Denkschritten.
GlossarOutput-Token
Tokens, die ein KI-Modell als Antwort erzeugt. Werden separat berechnet und sind meist drei- bis fünfmal teurer als Input-Tokens, weil das Modell sie aktiv generieren muss.
Glossar$/MTok (Kosten pro Million Tokens)
Standard-Preisangabe bei KI-APIs — Kosten in US-Dollar pro eine Million verarbeitete Tokens. Wird getrennt für Input, Output und ggf. Cache angegeben.