Begriff
DPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
DPO — ausführlicher erklärt
Direct Preference Optimization wurde 2023 von Rafailov et al. vorgestellt und gilt seitdem als pragmatische Alternative zu RLHF. Statt erst ein Reward-Modell zu trainieren und dann via PPO ein Sprachmodell zu optimieren, leitet DPO eine geschlossene Verlustfunktion direkt aus den Präferenzpaaren ab: zu jedem Prompt gibt es eine bevorzugte und eine abgelehnte Antwort. Das Modell lernt, die Wahrscheinlichkeit der bevorzugten gegenüber der abgelehnten zu erhöhen — relativ zu einer eingefrorenen Referenzversion seiner selbst.
Beispiel / Praxisbezug
Praktisch heißt das: ein einziger Trainingslauf mit Standard-SFT-Pipeline (typisch über Hugging Face TRL oder vergleichbare Bibliotheken), kein Reward-Modell, kein PPO-Tuning. DPO ist deutlich stabiler und ressourcenschonender als RLHF und wurde in den Folgejahren zur Default-Methode für Open-Source-Alignment — etwa bei Llama 3, Mistral und vielen Hugging-Face-Modellen.
Abgrenzung zu ähnlichen Begriffen
Im Unterschied zu RLHF entfällt das Reward-Modell und der PPO-Schritt. Im Unterschied zu SFT lernt DPO nicht nur die richtige, sondern explizit auch die falsche Antwort relativ zueinander. Nachfolger wie ORPO (Odds Ratio Preference Optimization) versuchen, sogar SFT und Präferenz-Lernen in einem Schritt zu vereinen.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarFine-Tuning
Nachtraining eines vortrainierten Modells auf einem kleineren, spezialisierten Datensatz, um Stil, Format oder Domänenwissen gezielt anzupassen.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.