Begriff
TensorRT-LLM
TensorRT-LLM ist eine quelloffene Bibliothek von NVIDIA, die LLM-Inferenz auf NVIDIA-GPUs optimiert. Sie kompiliert Modelle in hochoptimierte Laufzeit-Engines und bietet In-Flight-Batching, Paged-KV-Cache und Quantisierung für hohen Durchsatz bei niedriger Latenz.
TensorRT-LLM — ausführlich erklärt
TensorRT-LLM ist eine Open-Source-Bibliothek von NVIDIA für die hochperformante Inferenz großer Sprachmodelle auf NVIDIA-GPUs. Anders als ein reines Server-Tool ist es in erster Linie ein Compiler-Stack: Ein Modell (z. B. Llama, Mistral, Qwen) wird über die Python-API in eine optimierte TensorRT-Engine übersetzt, die exakt auf die Ziel-GPU, die gewünschte Präzision und die Parallelisierung zugeschnitten ist. Diese Engine läuft anschließend über die C++-Laufzeit besonders schnell.
Zentrale Optimierungen sind maßgeschneiderte Attention-Kernels, In-Flight-Batching (neue Anfragen werden in jedem Generierungsschritt zur laufenden Batch hinzugefügt, statt auf das Ende vorheriger Anfragen zu warten), ein Paged-KV-Cache zur effizienten Speicherverwaltung, Quantisierung (u. a. FP8, FP4, INT4-AWQ, INT8-SmoothQuant) sowie spekulatives Dekodieren. Für den produktiven Betrieb gibt es ein dediziertes Backend im NVIDIA Triton Inference Server, das die TensorRT-LLM-Laufzeit mit In-Flight-Batching und Paged-KV-Caching bündelt.
Beispiel / Praxisbezug
Ein Team, das ein quantisiertes 70B-Modell mit vielen parallelen Nutzern bei minimaler Latenz auf H100- oder A100-GPUs betreiben will, baut mit TensorRT-LLM eine FP8-Engine und serviert sie über Triton. Der Mehraufwand gegenüber generischen Servern liegt im Build-Schritt: Die Engine muss pro Modell, Präzision und GPU-Konfiguration erzeugt werden und ist nicht portabel zwischen GPU-Generationen. Dafür gehört der Durchsatz auf NVIDIA-Hardware zur Spitzenklasse.
Abgrenzung zu ähnlichen Begriffen
vLLM verfolgt ein ähnliches Ziel (hoher Durchsatz, Paged-KV-Cache via PagedAttention), ist aber breiter hardwarekompatibel und ohne separaten Compile-Schritt einfacher zu betreiben — TensorRT-LLM ist tiefer auf NVIDIA-GPUs optimiert. Ollama und llama.cpp zielen auf einfache lokale Nutzung, auch auf CPU und Apple Silicon, nicht auf maximalen Server-Durchsatz. Themen wie Quantisierung und KV-Cache sind Bausteine, die TensorRT-LLM intern nutzt.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.