Konzepte rund um lokalen Modellbetrieb — Formate, Quantisierung, Hardware.
Batch-Inferenz bezeichnet das gebündelte Verarbeiten vieler Prompts in einem Durchlauf — entweder lokal über die GPU oder als asynchroner API-Job — zugunsten von Durchsatz und Kosten statt Echtzeit-Latenz.
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
Quantisierung reduziert die numerische Präzision der Modellgewichte — z. B. von 16-bit float auf 4-bit Integer — und macht Sprachmodelle so klein und schnell genug für Consumer-Hardware, mit überschaubarem Qualitätsverlust.
VRAM (Video RAM) ist der dedizierte Speicher einer GPU — beim lokalen Betrieb von Sprachmodellen die wichtigste Hardware-Größe, weil das gesamte Modell und der Kontext idealerweise dort hineinpassen müssen.