Begriff
Knowledge Distillation
Knowledge Distillation ist ein Trainingsverfahren, bei dem ein kleines Schüler-Modell vom Verhalten eines großen Lehrer-Modells lernt — mit dem Ziel, vergleichbare Qualität bei deutlich geringerem Ressourcenbedarf zu erreichen.
Knowledge Distillation — ausführlicher erklärt
Eingeführt 2015 von Hinton et al., ist Distillation der Standardweg, ein leistungsfähiges, aber teures Modell in eine kleinere, billigere Variante zu komprimieren. Das Lehrer-Modell (Teacher) erzeugt Vorhersagen oder Soft-Probabilities auf einem Datensatz; das Schüler-Modell (Student) wird so trainiert, dass es diese Ausgaben möglichst genau reproduziert — typischerweise mit einer Mischung aus Cross-Entropy gegen die echten Labels und KL-Divergenz gegen die Lehrer-Verteilung. Im LLM-Zeitalter hat sich der Begriff erweitert: oft wird der Schüler einfach auf Antworten trainiert, die der Lehrer auf einen Promptkatalog generiert hat — eine Form synthetischer Trainingsdaten. Vorteil: viele Eigenschaften des großen Modells (Stil, Reasoning-Schritte, Fakten) übertragen sich, ohne dass der Schüler je Originaldaten gesehen hätte.
Beispiel / Praxisbezug
Bekannte Beispiele: DistilBERT (Schüler von BERT, ~40 % kleiner, ~60 % schneller, ~97 % der Qualität), Alpaca (Schüler-LLaMA-7B, trainiert auf 52k Antworten von GPT-3.5), zahlreiche Llama- und Mistral-Forks, die mit GPT-4-generierten Daten distilliert wurden. Praktischer Nutzen: ein lokales 7B-Modell kann in engen Aufgaben überraschend nah an ein 70B- oder ein Closed-Source-Modell herankommen — bei einem Bruchteil der Inferenz-Kosten.
Abgrenzung zu ähnlichen Begriffen
Quantisierung verkleinert ein Modell durch geringere Bit-Auflösung der Gewichte — ohne Verhalten zu lehren. Pruning entfernt unwichtige Gewichte. Beide ändern dasselbe Modell, während Distillation ein neues, kleineres Modell trainiert. Klassisches SFT auf Lehrer-Antworten ist heute die häufigste praktische Form von Distillation; manche Anbieter-Lizenzen verbieten diese Nutzung explizit.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.