Begriff
GGUF
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
GGUF — ausführlicher erklärt
GGUF wurde 2023 als Nachfolger des älteren GGML-Formats eingeführt, um die Probleme des Vorgängers (kein einheitliches Metadaten-Schema, schwierige Versionierung) zu beheben. Eine GGUF-Datei trägt alles in sich, was zum Laden eines Modells nötig ist: Gewichte in unterschiedlichen Quantisierungsstufen (z. B. Q4_K_M, Q5_K_S, Q8_0), das Tokenizer-Vokabular, Architektur-Parameter und das Chat-Template. Geladen wird mit llama.cpp oder darauf aufbauenden Tools wie Ollama, LM Studio, KoboldCpp.
Beispiel / Praxisbezug
Bei Hugging Face finden sich tausende GGUF-Konvertierungen offener Modelle (Llama, Qwen, Mistral, DeepSeek). Faustregel zur Quantisierung: Q4_K_M ist der bewährte Sweet Spot zwischen Größe und Qualität — ein 7B-Modell kommt damit auf etwa 4–5 GB statt 14 GB unquantisiert. Q8_0 liefert nahezu volle Qualität bei doppelter Größe; Q2/Q3 sind nur für Notfälle, wenn der RAM/VRAM extrem knapp ist.
Abgrenzung zu ähnlichen Begriffen
GGML war das Vorgängerformat — heute deprecated, ältere Modelle laufen aber noch damit. Safetensors ist das Hugging-Face-Format für unquantisierte Gewichte, primär für Fine-Tuning und Cloud-Inferenz. AWQ und GPTQ sind alternative Quantisierungsverfahren, die meist auf GPU-Inferenz mit vLLM oder TGI zielen — GGUF ist explizit auf CPU- und Mixed-CPU-GPU-Setups ausgelegt.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarQuantisierung
Quantisierung reduziert die numerische Präzision der Modellgewichte — z. B. von 16-bit float auf 4-bit Integer — und macht Sprachmodelle so klein und schnell genug für Consumer-Hardware, mit überschaubarem Qualitätsverlust.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.