Begriff
Top-p / Top-k
Top-p (Nucleus Sampling) und Top-k sind Sampling-Strategien für LLMs, die festlegen, aus welcher Token-Auswahl pro Schritt gezogen wird — sie steuern zusammen mit der Temperatur die Kreativität der Ausgabe.
Top-p / Top-k — ausführlicher erklärt
Bei jeder Token-Generierung berechnet ein Sprachmodell eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens. Top-k schneidet diese Verteilung hart ab und lässt nur die k wahrscheinlichsten Kandidaten zur Auswahl zu — typisch sind Werte zwischen 20 und 50. Top-p (auch Nucleus Sampling) zieht dynamisch eine kleinere oder größere Menge: Es nimmt die wahrscheinlichsten Tokens, deren kumulierte Wahrscheinlichkeit den Schwellwert p (z. B. 0,9) erreicht. Das Modell sampelt dann aus dieser reduzierten Menge — meist gewichtet nach der Restwahrscheinlichkeit.
Beispiel / Praxisbezug
Bei einer eindeutigen Frage („Hauptstadt von Frankreich”) konzentriert sich die Wahrscheinlichkeit auf wenige Tokens — Top-p mit 0,9 wählt fast immer „Paris”. Bei einer offenen Aufgabe („Schreib einen Werbetext”) streut die Verteilung breiter und Top-p liefert mehr Vielfalt. Praxis-Defaults der großen API-Anbieter liegen typischerweise bei top_p = 1.0 oder 0.95 und top_k deaktiviert; gesteuert wird primär über temperature. Wer reproduzierbare Ausgaben braucht, setzt zusätzlich einen seed.
Abgrenzung zu ähnlichen Begriffen
Die Temperatur skaliert die Wahrscheinlichkeitsverteilung vor dem Sampling, ohne die Kandidatenmenge zu beschränken — Top-p und Top-k schneiden die Menge ab. Greedy Sampling wählt immer den wahrscheinlichsten Token (entspricht top_k = 1) und ist deterministisch. Beam Search hält mehrere Pfade parallel und wird heute eher für Übersetzungen und kürzere Outputs genutzt, weniger für offene LLM-Generierung.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarReasoning Effort
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.