Begriff
QLoRA
Erweiterung von LoRA, die das Basismodell auf 4 Bit quantisiert — dadurch lassen sich auch sehr große LLMs auf einer einzelnen GPU fein-tunen.
QLoRA — ausführlicher erklärt
QLoRA (Quantized Low-Rank Adaptation) wurde 2023 von Forschern der University of Washington vorgestellt und kombiniert zwei Ideen: die parameter-effizienten LoRA-Adapter und eine aggressive 4-Bit-Quantisierung des eingefrorenen Basismodells. Hinzu kommen technische Tricks wie der NF4-Datentyp (Normal Float 4), Double Quantization und Paged Optimizer. Damit reduziert QLoRA den GPU-Speicherbedarf auf einen Bruchteil — ein 65-Milliarden-Parameter-Modell, das normalerweise mehrere High-End-GPUs braucht, lässt sich auf einer einzelnen 48-GB-GPU fein-tunen.
Beispiel / Praxisbezug
QLoRA hat Open-Source-Fine-Tuning für viele zugänglich gemacht. Ein 13B-Modell wie Llama 3 oder Mistral lässt sich auf Consumer-Hardware (24 GB VRAM) mit QLoRA in wenigen Stunden für eine spezifische Domäne anpassen. Verwendet werden typischerweise bitsandbytes für die Quantisierung und Hugging Faces peft und transformers für das Training. Das fertige Adapter-File bleibt klein und kann bei Inferenz wieder auf ein nicht-quantisiertes Basismodell gesetzt werden.
Abgrenzung zu ähnlichen Begriffen
LoRA arbeitet auf einem unquantisierten Modell — gleicher Adapter-Mechanismus, aber höherer Speicherbedarf. Klassisches Post-Training-Quantization (PTQ) wie GPTQ oder AWQ quantisiert ein bereits trainiertes Modell für schnellere Inferenz, ohne Training. QLoRA ist die Brücke: Es trainiert auf einem quantisierten Basismodell, ohne dessen Qualität zu opfern.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.