Begriff
PEFT (Parameter-Efficient Fine-Tuning)
PEFT bündelt Verfahren, die ein vortrainiertes LLM anpassen, indem nur ein kleiner Bruchteil der Gewichte trainiert wird — typischerweise unter 1 %, statt aller Milliarden Parameter.
PEFT — ausführlicher erklärt
Vollständiges Fine-Tuning eines modernen LLM kostet enorm: alle Milliarden Parameter müssen im GPU-Speicher liegen, Gradienten und Optimierer-States vervielfachen den Bedarf, und für jeden Use-Case entsteht eine eigene Modell-Kopie. PEFT umgeht das, indem die ursprünglichen Gewichte eingefroren bleiben und nur eine kleine Zahl zusätzlicher oder ausgewählter Parameter trainiert wird. Das Resultat: Trainings-Speicher schrumpft oft auf ein Zehntel oder weniger, die trainierten Adapter sind wenige MB groß und mehrere Use-Cases lassen sich auf demselben Basis-Modell mit verschiedenen Adaptern parallel betreiben. Die Hugging-Face-Library peft macht die meisten gängigen Verfahren als One-Liner verfügbar.
Beispiel / Praxisbezug
Klassischer Anwendungsfall: ein Llama- oder Mistral-Basis-Modell soll Kundensupport-Mails im firmeneigenen Tonfall beantworten. Volles Fine-Tuning würde mehrere High-End-GPUs für Tage binden. Mit LoRA — der populärsten PEFT-Variante — reicht oft eine einzelne A100-GPU für Stunden, der trainierte Adapter ist ein paar Hundert MB groß und lässt sich zur Laufzeit auf das Basis-Modell auflegen oder wieder entfernen.
Abgrenzung zu ähnlichen Begriffen
LoRA (Low-Rank Adaptation) ist die bekannteste konkrete PEFT-Methode — sie injiziert kleine Rang-r-Matrizen in die Aufmerksamkeits-Schichten. QLoRA kombiniert LoRA mit 4-Bit-Quantisierung des Basis-Modells und senkt den Speicherbedarf weiter. Vollständiges Fine-Tuning trainiert alle Parameter, ist teurer und produziert eine komplette neue Modell-Kopie. Prompt Tuning und Prefix Tuning sind weitere PEFT-Verfahren, die statt Gewichten gelernte Embeddings vor der Eingabe einschleusen.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.