Begriff
Fine-Tuning
Nachtraining eines vortrainierten Modells auf einem kleineren, spezialisierten Datensatz, um Stil, Format oder Domänenwissen gezielt anzupassen.
Fine-Tuning — ausführlicher erklärt
Fine-Tuning bezeichnet das Weitertrainieren eines bereits vortrainierten Modells (Foundation Model) auf einem deutlich kleineren, kuratierten Datensatz. Das Ziel ist nicht, dem Modell ganz neues Allgemeinwissen beizubringen, sondern Verhalten, Tonalität, Format oder spezifische Aufgaben zu schärfen. Übliche Verfahren reichen von vollständigem Fine-Tuning (alle Gewichte werden aktualisiert) bis zu parameter-effizienten Methoden wie LoRA und QLoRA, die nur einen Bruchteil der Parameter trainieren.
Beispiel / Praxisbezug
Ein typischer Anwendungsfall ist ein Chat-Assistent, der mit einem firmenspezifischen Stil und festen Antwortstrukturen reagieren soll. Statt diese Vorgaben in jeden Prompt zu schreiben, werden 500 bis 5000 hochwertige Beispiel-Dialoge gesammelt und das Modell darauf nachtrainiert. Das Resultat sind kürzere Prompts, konsistentere Antworten und oft auch günstigere Inferenz, weil ein kleineres fein-getuntes Modell ähnlich gute Ergebnisse liefert wie ein größeres ohne Tuning.
Abgrenzung zu ähnlichen Begriffen
Fine-Tuning verändert die Modellgewichte, RAG ergänzt nur den Prompt zur Laufzeit — Wissen, das sich häufig ändert, gehört in RAG, Verhalten und Stil eher in Fine-Tuning. Pretraining ist der ressourcenintensive Grundlauf auf riesigen Datenmengen; Fine-Tuning baut darauf auf und ist um Größenordnungen billiger.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.