Verfahren zum Trainieren und Anpassen von Sprachmodellen.
Ein Adapter ist ein kleines, neu hinzugefügtes Netzwerk-Modul, das in ein eingefrorenes Sprachmodell injiziert wird — nur diese Module werden trainiert, das Basis-Modell selbst bleibt unverändert.
Catastrophic Forgetting bezeichnet den Effekt, dass ein neuronales Netz beim Training auf neuen Daten zuvor erlerntes Wissen ganz oder teilweise verliert — ein zentrales Problem beim Fine-Tuning von Sprachmodellen.
Continued Pretraining ist das Weitertrainieren eines bereits vortrainierten Sprachmodells auf großen Mengen Domänen-Text — bevor klassisches Fine-Tuning beginnt.
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
Nachtraining eines vortrainierten Modells auf einem kleineren, spezialisierten Datensatz, um Stil, Format oder Domänenwissen gezielt anzupassen.
Instruction Tuning ist eine Variante des Supervised Fine-Tuning, bei der ein Sprachmodell auf einem breit gestreuten Mix aus Instruktion-Antwort-Paaren trainiert wird — damit es Anweisungen beliebiger Aufgaben verlässlich befolgt.
Knowledge Distillation ist ein Trainingsverfahren, bei dem ein kleines Schüler-Modell vom Verhalten eines großen Lehrer-Modells lernt — mit dem Ziel, vergleichbare Qualität bei deutlich geringerem Ressourcenbedarf zu erreichen.
Low-Rank Adaptation — parameter-effizientes Fine-Tuning, bei dem nur kleine Zusatz-Matrizen trainiert werden statt aller Modellgewichte.
ORPO ist ein Trainingsverfahren, das überwachtes Fine-Tuning und Präferenz-Optimierung in einem einzigen Schritt vereint — schlanker als die klassische SFT-plus-RLHF-Pipeline.
PEFT bündelt Verfahren, die ein vortrainiertes LLM anpassen, indem nur ein kleiner Bruchteil der Gewichte trainiert wird — typischerweise unter 1 %, statt aller Milliarden Parameter.
Prefix Tuning ist ein PEFT-Verfahren, bei dem nicht Modellgewichte, sondern eine Folge gelernter „virtueller Tokens" trainiert wird, die der Eingabe vorangestellt werden — das Basis-Modell bleibt eingefroren.
Erweiterung von LoRA, die das Basismodell auf 4 Bit quantisiert — dadurch lassen sich auch sehr große LLMs auf einer einzelnen GPU fein-tunen.
Reinforcement Learning from Human Feedback — Trainingsverfahren, das Modelle anhand von menschlichen Präferenz-Vergleichen auf hilfreiches und sicheres Verhalten ausrichtet.
SFT bezeichnet das überwachte Nachtrainieren eines vortrainierten Sprachmodells auf einem Datensatz aus Eingabe-Ausgabe-Paaren — der Schritt, der ein Basis-Modell in einen brauchbaren Assistenten verwandelt.
Synthetic Data sind künstlich erzeugte Trainings- oder Testdaten — meist von einem Sprachmodell selbst generiert, um Datensätze zu erweitern, ohne reale Quellen zu benötigen.