Begriff
vLLM
vLLM ist ein quelloffener Hochdurchsatz-Inferenzserver für LLMs — bekannt für PagedAttention, kontinuierliches Batching und einen OpenAI-kompatiblen API-Endpoint, weit verbreitet in produktiven Self-Hosting-Setups.
vLLM — ausführlicher erklärt
vLLM ist auf Server-Workloads zugeschnitten: viele parallele Anfragen, hohe Tokens-pro-Sekunde, GPU-Auslastung möglichst nahe 100 %. Kerntrick ist PagedAttention — der KV-Cache wird in feste Blöcke unterteilt und wie Pages im OS-Speicher verwaltet, was Speicher-Fragmentierung vermeidet und Continuous Batching erst praktisch macht: laufende Anfragen werden Token für Token mit neu eingehenden zusammengeführt, statt fest auf Batch-Grenzen zu warten. Entwickelt wurde vLLM ursprünglich an der UC Berkeley.
Beispiel / Praxisbezug
Auf einer A100 oder H100 lassen sich mit vLLM Llama-3.1-70B (per Tensor-Parallelism über mehrere GPUs) oder Qwen 2.5 32B als Self-Hosting-Backend für ein internes ChatGPT-Pendant betreiben. Der OpenAI-kompatible Endpoint (/v1/chat/completions) bedeutet: bestehende Clients (LangChain, LlamaIndex, eigene SDKs) lassen sich ohne Code-Änderung umschalten. Quantisierte Modelle (AWQ, GPTQ) werden direkt unterstützt.
Abgrenzung zu ähnlichen Begriffen
Ollama und LM Studio zielen auf einzelne Anwender und einfache Inbetriebnahme; vLLM zielt auf Server mit vielen gleichzeitigen Nutzern und Maximal-Durchsatz. Hugging Face TGI und NVIDIA TensorRT-LLM stehen in derselben Liga wie vLLM, mit unterschiedlichen Schwerpunkten bei Hardware-Support, Batching-Strategie und Lizenz. llama.cpp dagegen ist Inferenz-Engine auf CPU/Edge-Niveau, kein Server-Stack.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.