Begriff
ORPO (Odds Ratio Preference Optimization)
ORPO ist ein Trainingsverfahren, das überwachtes Fine-Tuning und Präferenz-Optimierung in einem einzigen Schritt vereint — schlanker als die klassische SFT-plus-RLHF-Pipeline.
ORPO — ausführlicher erklärt
Die klassische Post-Training-Pipeline für ein Chat-Modell sieht so aus: erst SFT auf Frage-Antwort-Paaren, dann eine zweite Phase mit RLHF oder DPO, in der das Modell mit Präferenzpaaren („Antwort A besser als B”) nachjustiert wird. Das ist aufwendig: zwei Trainings-Phasen, ggf. ein separates Reward-Modell. ORPO (Hong et al., 2024) packt beides in einen Schritt. Der Verlust kombiniert klassische Cross-Entropy auf der bevorzugten Antwort mit einem Odds-Ratio-Term, der das Modell zusätzlich davon abhält, die abgelehnte Antwort wahrscheinlicher zu machen. Das Verfahren braucht kein Referenz-Modell — anders als DPO, das das ursprüngliche Modell zum Vergleich vorhält — und ist damit deutlich speichersparender.
Beispiel / Praxisbezug
Typische Anwendung: ein Open-Source-Basis-Modell soll zu einem Chat-Assistenten weitergebildet werden, mit knappen Ressourcen und einem Datensatz aus Präferenzpaaren (z. B. UltraFeedback oder einem eigenen Sammlung). Statt zwei separater Trainingsläufe (SFT, dann DPO) reicht ein ORPO-Run. Die Hugging-Face-Library trl unterstützt ORPO direkt, oft kombiniert mit LoRA für zusätzlichen Effizienzgewinn.
Abgrenzung zu ähnlichen Begriffen
RLHF ist das ursprüngliche Verfahren — Reinforcement Learning auf einem separat trainierten Reward-Modell, leistungsfähig aber komplex. DPO (Direct Preference Optimization) macht RLHF überflüssig, indem es Präferenzen direkt in einen Verlustterm übersetzt, braucht aber noch ein Referenz-Modell. ORPO geht einen Schritt weiter und vereint SFT und Präferenz-Optimierung. KTO und IPO sind weitere verwandte Verfahren mit anderen Verlust-Formulierungen.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.