Begriff
RLHF
Reinforcement Learning from Human Feedback — Trainingsverfahren, das Modelle anhand von menschlichen Präferenz-Vergleichen auf hilfreiches und sicheres Verhalten ausrichtet.
RLHF — ausführlicher erklärt
RLHF (Reinforcement Learning from Human Feedback) ist das Standardverfahren, mit dem moderne Chat-Modelle wie ChatGPT, Claude oder Gemini ihren hilfreichen, freundlichen und sicheren Antwortstil bekommen. Der Ablauf besteht typischerweise aus drei Phasen: Erstens supervisiertes Fine-Tuning auf qualitativ guten Beispielantworten. Zweitens Training eines Reward-Modells auf paarweisen menschlichen Präferenz-Vergleichen („Antwort A ist besser als Antwort B”). Drittens Reinforcement-Learning-Optimierung des Sprachmodells gegen dieses Reward-Modell, oft mit dem PPO-Algorithmus.
Beispiel / Praxisbezug
Ohne RLHF wirken Sprachmodelle sehr stark wie reine Textvervollständiger: Sie können auf eine Frage genauso gut mit einer ähnlichen Frage antworten, weil im Trainingstext oft Listen ähnlicher Fragen stehen. RLHF richtet das Modell darauf aus, was Menschen tatsächlich als hilfreiche Antwort empfinden. Neue Verfahren wie DPO (Direct Preference Optimization) ersetzen den klassischen RL-Schritt und kommen ganz ohne explizites Reward-Modell aus, behalten aber die gleiche Grundidee — aus Präferenz-Daten lernen.
Abgrenzung zu ähnlichen Begriffen
RLHF passt das Modell auf menschliche Präferenzen an, Fine-Tuning im engeren Sinn nur auf neue Beispiele. RLAIF („from AI Feedback”) nutzt KI-generierte Vergleiche statt menschliche, um den teuersten Schritt zu skalieren. Constitutional AI ist Anthropics Variante mit explizit formulierten Prinzipien als Bewertungsgrundlage.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.