Begriff
VRAM
VRAM (Video RAM) ist der dedizierte Speicher einer GPU — beim lokalen Betrieb von Sprachmodellen die wichtigste Hardware-Größe, weil das gesamte Modell und der Kontext idealerweise dort hineinpassen müssen.
VRAM — ausführlicher erklärt
Sprachmodelle laufen am schnellsten, wenn sämtliche Gewichte und der KV-Cache (Zwischenspeicher für die bisherigen Tokens) im VRAM der GPU liegen. Faustregel pro Modellgröße in Q4-Quantisierung: 7B ≈ 5 GB, 13B ≈ 9 GB, 34B ≈ 22 GB, 70B ≈ 40 GB — plus 1–4 GB für den KV-Cache je nach Kontextlänge. Reicht der VRAM nicht, lagern Tools wie llama.cpp Schichten ins normale RAM aus (Offloading) — die Inferenz wird dann je nach Anteil 2- bis 20-mal langsamer.
Beispiel / Praxisbezug
Eine RTX 4090 mit 24 GB VRAM betreibt 13B-Modelle bequem mit langem Kontext, 34B-Q4 mit knapper Reserve. Eine MacBook-Pro M3 mit 36 GB Unified Memory verhält sich ähnlich, weil GPU und CPU sich denselben Speicher teilen. Mehrere GPUs lassen sich per Tensor- oder Pipeline-Parallelism kombinieren — vLLM und TGI machen das transparent. Cloud-GPUs wie A100 80 GB oder H100 80 GB tragen 70B-Modelle problemlos.
Abgrenzung zu ähnlichen Begriffen
VRAM ist nicht dasselbe wie System-RAM — Letzteres ist langsamer angebunden, nutzt aber dieselbe Logik beim Offloading. Apple Silicon und integrierte GPUs nutzen Unified Memory: ein gemeinsamer Pool für CPU und GPU, was beim lokalen LLM-Betrieb effektiv den verfügbaren „VRAM” hochsetzt. Der Bandbreiten-Unterschied (GDDR6X ≈ 1 TB/s, DDR5 ≈ 90 GB/s) bestimmt am Ende die Token-Geschwindigkeit.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarGGUF
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.