Begriff
Sampling (LLM)
Sampling ist das gewichtete Ziehen des nächsten Tokens aus der Wahrscheinlichkeitsverteilung eines Sprachmodells — gesteuert über Temperatur, Top-p und Top-k. Es erzeugt die Variabilität zwischen zwei Läufen.
Sampling (LLM) — ausführlicher erklärt
Ein Sprachmodell erzeugt seine Ausgabe Token für Token. In jedem Schritt berechnet das Modell nicht ein einziges festes Token, sondern eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens des Vokabulars — jedem Kandidaten wird ein Wahrscheinlichkeitswert zugeordnet. Sampling bezeichnet den Vorgang, aus dieser Verteilung tatsächlich ein Token auszuwählen: Das Modell zieht gewichtet — also gewürfelt, aber nach Wahrscheinlichkeit gewichtet — einen Kandidaten. Tokens mit höherer Wahrscheinlichkeit werden öfter gezogen, seltenere können aber ebenfalls vorkommen.
Wie stark diese Auswahl streut, steuern drei Parameter im Zusammenspiel:
- Temperatur skaliert die Verteilung vor dem Ziehen. Niedrige Werte spitzen sie zu (die wahrscheinlichsten Tokens dominieren), hohe Werte flachen sie ab (auch unwahrscheinliche Tokens bekommen eine reale Chance).
- Top-k begrenzt die Auswahl hart auf die k wahrscheinlichsten Kandidaten, alle anderen werden verworfen.
- Top-p (Nucleus Sampling) nimmt dynamisch so viele Tokens, bis ihre kumulierte Wahrscheinlichkeit den Schwellwert p erreicht.
Erst aus der so geformten Restmenge wird gezogen. Sampling ist damit die Stellschraube, die Sprachmodelle von rein deterministischer Vorhersage trennt.
Beispiel / Praxisbezug
Sampling ist der Grund, warum dasselbe Modell bei zwei Läufen mit identischem Prompt unterschiedliche Ausgaben liefern kann. Lässt man ein Modell zweimal denselben Code analysieren, kann es beim ersten Lauf eine bestimmte Schwachstelle nennen und beim zweiten eine andere — nicht weil es „mehr weiß”, sondern weil an einer frühen Weggabelung ein anderes Token gezogen wurde. Diese Pfadabhängigkeit pflanzt sich fort: Ein einziges abweichend gesampeltes Token früh in der Antwort lenkt den gesamten weiteren Text in eine andere Richtung.
In der Praxis nutzt man das gezielt: Wer reproduzierbare, knappe Antworten braucht (z. B. strukturierte Datenextraktion), senkt Temperatur und Top-p, um die Streuung zu minimieren. Wer mehrere Lösungsvarianten oder kreative Vorschläge will, erhöht sie. Wiederholtes Sampling derselben Frage und anschließendes Abgleichen der Antworten ist außerdem eine einfache Methode, um unsichere oder instabile Modell-Aussagen zu erkennen.
Abgrenzung zu ähnlichen Begriffen
Greedy Decoding ist das Gegenstück zum Sampling: Statt gewichtet zu ziehen, wählt es in jedem Schritt immer das wahrscheinlichste Token. Das macht die Ausgabe deterministisch und reproduzierbar, aber oft repetitiv und wenig kreativ — und es findet nicht zwingend die insgesamt beste Sequenz.
Temperatur, Top-p und Top-k sind keine Alternativen zum Sampling, sondern seine Steuerparameter: Sie formen die Verteilung, aus der gesampelt wird. Sampling ist der übergeordnete Mechanismus, diese Parameter sind die Hebel daran. Greedy Decoding lässt sich als Spezialfall verstehen — Sampling bei Temperatur 0.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarReasoning Effort
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.