LLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.
Redaktion
Lokales LLM (Konzepte)
in KI-Konzepte
Konzepte rund um lokalen Modellbetrieb — Formate, Quantisierung, Hardware.
Glossar
GGUF Lokales LLM
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
Quantisierung Lokales LLM
Quantisierung reduziert die numerische Präzision der Modellgewichte — z. B. von 16-bit float auf 4-bit Integer — und macht Sprachmodelle so klein und schnell genug für Consumer-Hardware, mit überschaubarem Qualitätsverlust.
VRAM Lokales LLM
VRAM (Video RAM) ist der dedizierte Speicher einer GPU — beim lokalen Betrieb von Sprachmodellen die wichtigste Hardware-Größe, weil das gesamte Modell und der Kontext idealerweise dort hineinpassen müssen.
Batch-Inferenz Lokales LLM
Batch-Inferenz bezeichnet das gebündelte Verarbeiten vieler Prompts in einem Durchlauf — entweder lokal über die GPU oder als asynchroner API-Job — zugunsten von Durchsatz und Kosten statt Echtzeit-Latenz.