Training & Fine-Tuning

DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.

Nachtraining eines vortrainierten Modells auf einem kleineren, spezialisierten Datensatz, um Stil, Format oder Domänenwissen gezielt anzupassen.

Low-Rank Adaptation — parameter-effizientes Fine-Tuning, bei dem nur kleine Zusatz-Matrizen trainiert werden statt aller Modellgewichte.

PEFT bündelt Verfahren, die ein vortrainiertes LLM anpassen, indem nur ein kleiner Bruchteil der Gewichte trainiert wird — typischerweise unter 1 %, statt aller Milliarden Parameter.

Erweiterung von LoRA, die das Basismodell auf 4 Bit quantisiert — dadurch lassen sich auch sehr große LLMs auf einer einzelnen GPU fein-tunen.

Reinforcement Learning from Human Feedback — Trainingsverfahren, das Modelle anhand von menschlichen Präferenz-Vergleichen auf hilfreiches und sicheres Verhalten ausrichtet.

SFT bezeichnet das überwachte Nachtrainieren eines vortrainierten Sprachmodells auf einem Datensatz aus Eingabe-Ausgabe-Paaren — der Schritt, der ein Basis-Modell in einen brauchbaren Assistenten verwandelt.

Synthetic Data sind künstlich erzeugte Trainings- oder Testdaten — meist von einem Sprachmodell selbst generiert, um Datensätze zu erweitern, ohne reale Quellen zu benötigen.

Ein Adapter ist ein kleines, neu hinzugefügtes Netzwerk-Modul, das in ein eingefrorenes Sprachmodell injiziert wird — nur diese Module werden trainiert, das Basis-Modell selbst bleibt unverändert.

Catastrophic Forgetting bezeichnet den Effekt, dass ein neuronales Netz beim Training auf neuen Daten zuvor erlerntes Wissen ganz oder teilweise verliert — ein zentrales Problem beim Fine-Tuning von Sprachmodellen.

Continued Pretraining ist das Weitertrainieren eines bereits vortrainierten Sprachmodells auf großen Mengen Domänen-Text — bevor klassisches Fine-Tuning beginnt.

Instruction Tuning ist eine Variante des Supervised Fine-Tuning, bei der ein Sprachmodell auf einem breit gestreuten Mix aus Instruktion-Antwort-Paaren trainiert wird — damit es Anweisungen beliebiger Aufgaben verlässlich befolgt.

Knowledge Distillation ist ein Trainingsverfahren, bei dem ein kleines Schüler-Modell vom Verhalten eines großen Lehrer-Modells lernt — mit dem Ziel, vergleichbare Qualität bei deutlich geringerem Ressourcenbedarf zu erreichen.

ORPO ist ein Trainingsverfahren, das überwachtes Fine-Tuning und Präferenz-Optimierung in einem einzigen Schritt vereint — schlanker als die klassische SFT-plus-RLHF-Pipeline.

Prefix Tuning ist ein PEFT-Verfahren, bei dem nicht Modellgewichte, sondern eine Folge gelernter „virtueller Tokens" trainiert wird, die der Eingabe vorangestellt werden — das Basis-Modell bleibt eingefroren.