Begriff
Quantisierung
Quantisierung reduziert die numerische Präzision der Modellgewichte — z. B. von 16-bit float auf 4-bit Integer — und macht Sprachmodelle so klein und schnell genug für Consumer-Hardware, mit überschaubarem Qualitätsverlust.
Quantisierung — ausführlicher erklärt
Ein 70B-Modell in voller fp16-Präzision belegt etwa 140 GB VRAM — kein typisches Consumer-Setup. Bei Quantisierung werden die Gewichte in eine kompaktere Zahlendarstellung überführt: 8-bit (Q8), 5-bit (Q5), 4-bit (Q4) bis hinunter zu 2-bit. Dasselbe 70B-Modell passt in Q4 auf etwa 40 GB. Der Qualitätsverlust ist bei Q8 meist nicht messbar, bei Q4 in der Regel akzeptabel, und steigt darunter spürbar. Verfahren wie GPTQ, AWQ und die GGUF-K-Quants holen aus den unteren Bitbreiten deutlich mehr heraus als naives Runden.
Beispiel / Praxisbezug
Wer Llama 3.1 8B oder Qwen 2.5 14B lokal in Ollama oder LM Studio fährt, lädt fast immer eine quantisierte GGUF-Variante (Q4_K_M ist der gängige Default). Ein 14B-Q4-Modell läuft damit auf einer 16-GB-GPU oder per CPU+RAM-Offloading auch ohne dedizierte Grafikkarte. Auf der Inferenz-Server-Seite nutzen vLLM, TGI und TensorRT-LLM AWQ oder GPTQ für höheren Durchsatz.
Abgrenzung zu ähnlichen Begriffen
Quantisierung wirkt nach dem Training und ändert das Modell nicht inhaltlich — im Gegensatz zu Fine-Tuning, das die Gewichte selbst neu lernt. Knowledge Distillation trainiert dagegen ein kleineres Modell von Grund auf so, dass es das Verhalten eines großen nachahmt. Pruning entfernt komplette Gewichte, statt sie nur ungenauer darzustellen.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarGGUF
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.