Begriff
LoRA
Low-Rank Adaptation — parameter-effizientes Fine-Tuning, bei dem nur kleine Zusatz-Matrizen trainiert werden statt aller Modellgewichte.
LoRA — ausführlicher erklärt
LoRA steht für Low-Rank Adaptation und ist eine 2021 von Microsoft Research vorgestellte Methode, große Sprachmodelle effizient anzupassen. Statt alle Gewichte eines Modells zu aktualisieren, friert LoRA das Original ein und trainiert kleine, niedrigrangige Zusatzmatrizen, die parallel in ausgewählten Schichten (typisch: Attention-Projektionen) eingehängt werden. Dadurch sinkt der Trainingsaufwand drastisch — oft auf unter 1 % der trainierbaren Parameter — bei vergleichbarer Qualität wie volles Fine-Tuning.
Beispiel / Praxisbezug
Ein 7-Milliarden-Parameter-Modell wie Llama 3 lässt sich mit LoRA auf einer einzelnen Consumer-GPU (24 GB VRAM) feinabstimmen. Trainiert wird typischerweise mit der peft-Library von Hugging Face; das Ergebnis ist ein kleines Adapter-File (wenige MB bis ein paar hundert MB), das zur Laufzeit auf das Basis-Modell aufgesetzt wird. Mehrere LoRA-Adapter für unterschiedliche Aufgaben können dasselbe Basismodell teilen — bei der Inferenz wählt man den passenden Adapter aus.
Abgrenzung zu ähnlichen Begriffen
LoRA ist eine spezielle Variante von parameter-efficient fine-tuning (PEFT) und Verwandter von Prefix-Tuning oder Adapters. QLoRA erweitert LoRA um 4-Bit-Quantisierung des Basismodells und senkt den Speicherbedarf nochmals deutlich. Volles Fine-Tuning aktualisiert alle Gewichte, ist qualitativ leicht überlegen, aber um Größenordnungen teurer.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.