Begriff
SFT (Supervised Fine-Tuning)
SFT bezeichnet das überwachte Nachtrainieren eines vortrainierten Sprachmodells auf einem Datensatz aus Eingabe-Ausgabe-Paaren — der Schritt, der ein Basis-Modell in einen brauchbaren Assistenten verwandelt.
SFT — ausführlicher erklärt
Ein frisch vortrainiertes Sprachmodell (Pretrained Base) ist ein reiner Text-Vervollständiger: gibt man ihm „Wie funktioniert RAG?”, liefert es vielleicht das nächste Wort eines Forenbeitrags. SFT ist der Trainingsschritt, der dieses Modell auf konkrete Frage-Antwort-Paare oder Instruktion-Antwort-Paare nachtrainiert. Der Datensatz besteht aus tausenden bis Millionen Beispielen — meist von Menschen geschrieben oder kuratiert. Trainiert wird klassisch mit Cross-Entropy-Loss auf den Antwort-Tokens. Resultat: das Modell lernt, dass auf Fragen Antworten folgen, dass Code mit Code beantwortet wird, dass es höflich, hilfreich und in einem definierten Format antwortet. SFT ist heute der erste Post-Training-Schritt nahezu jedes Chat-Modells, gefolgt von einer Präferenz-Optimierung wie RLHF, DPO oder ORPO.
Beispiel / Praxisbezug
Praktischer Anwendungsfall: ein Open-Source-Basis-Modell (z. B. Llama-Base) soll als Kundensupport-Assistent für ein eigenes Produkt funktionieren. Schritt 1 ist SFT — ein paar tausend kuratierte Support-Tickets als Frage-Antwort-Paare, mit LoRA oder QLoRA als PEFT-Verfahren effizient trainiert. Das Ergebnis ist ein Modell, das den eigenen Tonfall trifft und produktspezifische Begriffe sinnvoll verwendet — meist deutlich präziser als ein generisches Chat-Modell mit RAG.
Abgrenzung zu ähnlichen Begriffen
Pretraining ist der vorgelagerte Schritt: das Modell lernt Sprache aus rohem Text mit Next-Token-Prediction, ohne überwachte Labels. RLHF, DPO und ORPO sind Präferenz-Verfahren, die nach SFT laufen — sie justieren das Modell anhand „Antwort A besser als B”-Bewertungen statt anhand fester Beispielantworten. Instruction Tuning ist eine Variante von SFT, bei der die Trainingsdaten gezielt aus diversen Instruktionen verschiedener Aufgabentypen bestehen.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.