Lösungen für
Bitte auswählen
Web-App testen
ki-konzepte

Temperatur, Top-p und Sampling bei LLMs

Redaktion ·

Ein Sprachmodell rät bei jedem Schritt: Welches Wort kommt als Nächstes? Aber es rät nicht blind. Für jedes mögliche nächste Token berechnet das Modell eine Wahrscheinlichkeit — eine Verteilung über das gesamte Vokabular. Auf die Frage „Der Himmel ist …” landet vielleicht 60 % der Wahrscheinlichkeit auf „blau”, 8 % auf „bewölkt”, ein winziger Rest verteilt auf tausende andere Wörter. Welches Wort am Ende tatsächlich gewählt wird, entscheidet das Sampling — und genau hier greifen Temperatur, Top-p und Top-k ein.

Diese Parameter ändern nicht, was das Modell weiß. Sie ändern nur, wie mutig es aus seinen eigenen Wahrscheinlichkeiten zieht. Verstehst du sie, verstehst du, warum dasselbe Modell mal stur dieselbe Antwort liefert und mal kreativ ausschert — und welche Einstellung du für Code, Fakten oder kreatives Schreiben willst.

Von Logits zur Wahrscheinlichkeit

Bevor irgendein Sampling passiert, gibt das Modell für jedes Vokabular-Token einen rohen Wert aus — die Logits. Das sind noch keine Wahrscheinlichkeiten: Sie können negativ sein und summieren sich zu nichts Sinnvollem. Eine Funktion namens Softmax verwandelt diese Rohwerte in eine saubere Verteilung, die sich zu 100 % addiert. Erst auf dieser Verteilung arbeiten die Sampling-Parameter.

Temperatur: die Verteilung stauchen oder spreizen

Die Temperatur ist ein Skalar, der die Logits vor der Softmax teilt. Der Effekt:

  • Niedrige Temperatur (gegen 0). Die Verteilung wird spitzer. Die hohen Wahrscheinlichkeiten bekommen noch mehr Masse, die niedrigen schrumpfen. Das Modell wird vorhersehbar und faktentreu — es greift fast immer zum wahrscheinlichsten Token. Bei Temperatur 0 wird die Auswahl praktisch deterministisch.
  • Temperatur 1. Pass-through. Das Modell sampelt aus seiner nativen Verteilung, unverändert.
  • Hohe Temperatur (über 1). Die Verteilung wird flacher. Das Top-Token verliert seinen Vorsprung, unwahrscheinlichere Tokens werden plötzlich greifbar. Das Modell wird vielfältiger, kreativer — und riskanter, weil auch Unsinn wahrscheinlicher wird.

Das Bild der „Temperatur” passt: kalt = geordnet und starr, heiß = beweglich und chaotisch.

Top-p (Nucleus Sampling): nach Vertrauen abschneiden

Top-p, auch Nucleus Sampling genannt, geht anders vor. Statt die Verteilung umzuformen, begrenzt es die Auswahl. Top-p wählt die kleinste Menge der wahrscheinlichsten Tokens, deren kumulierte Wahrscheinlichkeit den Schwellwert p erreicht — diesen „Kern” (Nucleus). Aus dieser Menge wird dann gezogen, der lange Schwanz unwahrscheinlicher Tokens fällt komplett weg.

Der Clou: Die Menge ist adaptiv. Ist das Modell sich sehr sicher (ein Token hat 95 %), besteht der Nucleus aus genau diesem einen. Ist es unsicher (zwanzig Tokens mit je 5 %), umfasst der Nucleus viele. Top-p passt sich der Selbstsicherheit des Modells an, statt eine feste Zahl vorzugeben.

Top-k: die feste Obergrenze

Top-k ist die simplere Variante: Es beschränkt die Auswahl auf die k wahrscheinlichsten Tokens, egal wie die Wahrscheinlichkeiten verteilt sind. Top-k = 40 heißt: Nur die 40 wahrscheinlichsten Tokens kommen infrage, der Rest wird ignoriert.

Der Schwachpunkt ist genau diese Starrheit: k ist fix, unabhängig vom Kontext. Bei einer eindeutigen Frage sind die 40 erlaubten Tokens zu viele (es schleichen sich unsinnige Optionen ein); bei einer offenen Frage womöglich zu wenige. Deshalb hat sich in der Praxis Top-p durchgesetzt — es löst genau dieses Problem.

Wie die Parameter zusammenspielen

Temperatur und Top-p/Top-k wirken auf unterschiedlichen Ebenen und werden oft kombiniert. Die übliche Verarbeitungsreihenfolge: Erst skaliert die Temperatur die Verteilung, dann schneidet Top-p (oder Top-k) die Auswahl zu, dann wird gezogen.

In der Praxis dreht man selten an beiden gleichzeitig stark. Eine verbreitete Faustregel: Für Fakten, Code und Q&A eine niedrige Temperatur und ein hohes Top-p — das hält das Modell auf den wahrscheinlichsten Antworten, lässt aber genug Spielraum für natürlich klingenden Text. Für kreatives Schreiben eine höhere Temperatur, damit das Modell überraschende Wendungen wagt.

Hinweis: Bei manchen Modellen sind diese Parameter eingeschränkt

Die Sampling-Parameter sind kein universeller Standard. Manche neueren Reasoning-Modelle erlauben kein freies Setzen mehr. Ein konkretes Beispiel: Anthropics aktuelle Top-Modelle Claude Opus 4.7 und 4.8 haben temperature, top_p und top_k vollständig entfernt — eine Anfrage mit diesen Feldern liefert einen Fehler (Stand Juni 2026). Die Idee dahinter: Bei Modellen, die intern „nachdenken”, soll das Verhalten über die Aufgabenstellung und Effort-Stufen gesteuert werden, nicht über ein Roh-Sampling-Setting. Wer also gewohnt ist, überall temperature zu setzen, sollte vor dem Einsatz die Doku des konkreten Modells prüfen — die Parameter, die hier erklärt sind, gelten nicht zwangsläufig für jedes Modell.

FAQ

Was macht die Temperatur bei einem LLM genau? Sie skaliert die Wahrscheinlichkeitsverteilung über die möglichen nächsten Tokens, bevor gezogen wird. Niedrige Temperatur macht die Verteilung spitzer (deterministisch, faktentreu), hohe Temperatur macht sie flacher (vielfältiger, kreativer, riskanter). Bei Temperatur 0 wählt das Modell fast immer das wahrscheinlichste Token.

Was ist der Unterschied zwischen Top-p und Top-k? Top-k beschränkt die Auswahl auf eine feste Zahl k der wahrscheinlichsten Tokens. Top-p (Nucleus Sampling) beschränkt sie auf die kleinste Menge, deren Wahrscheinlichkeiten zusammen den Schwellwert p erreichen — und diese Menge ist adaptiv: klein, wenn das Modell sicher ist, groß, wenn es unsicher ist.

Welche Einstellung nehme ich für Code oder Fakten? Eine niedrige Temperatur, oft kombiniert mit einem hohen Top-p. Damit greift das Modell verlässlich zu den wahrscheinlichsten, korrektesten Tokens und schweift nicht in unsinnige Alternativen ab. Für kreatives Schreiben drehst du die Temperatur höher.

Soll ich Temperatur und Top-p gleichzeitig verändern? In der Regel nicht beide gleichzeitig stark. Üblich ist, einen Parameter als Haupt-Hebel zu nutzen (oft die Temperatur) und den anderen auf einem moderaten Standardwert zu lassen. Beide gleichzeitig aggressiv zu setzen macht das Verhalten schwer vorhersehbar.

Warum kann ich bei manchen Modellen keine Temperatur setzen? Manche neueren Reasoning-Modelle haben die Sampling-Parameter bewusst entfernt — etwa Claude Opus 4.7 und 4.8, die temperature, top_p und top_k ablehnen (Stand Juni 2026). Das Verhalten wird dort über die Aufgabenstellung und Effort-Stufen gesteuert. Prüfe immer die Doku des konkreten Modells, bevor du dich auf diese Parameter verlässt.

Themenuebersicht

KI-KonzepteLLM-Grundlagen