Begriff
TGI (Text Generation Inference)
TGI (Text Generation Inference) ist ein quelloffenes Toolkit von Hugging Face zum performanten Bereitstellen großer Sprachmodelle. Es liefert einen produktionsreifen Inferenz-Server mit Continuous Batching, Token-Streaming und optimierten Attention-Verfahren.
TGI (Text Generation Inference) — ausführlich erklärt
Text Generation Inference, kurz TGI, ist ein in Rust und Python geschriebenes Toolkit von Hugging Face zum Bereitstellen und Betreiben großer Sprachmodelle (LLMs). Es stellt einen Server bereit, der ein Modell lädt und über eine HTTP-Schnittstelle für Anfragen verfügbar macht — vergleichbar mit einem spezialisierten Webserver für Textgenerierung.
Der Schwerpunkt von TGI liegt auf Effizienz im Produktivbetrieb. Continuous Batching fasst gleichzeitig eintreffende Anfragen dynamisch zu Gruppen zusammen und hält die Hardware besser ausgelastet als starres Batch-Inferenz. Token-Streaming liefert erzeugte Tokens fortlaufend per Server-Sent Events aus. Optimierte Attention- und Decoding-Verfahren wie Flash Attention und Paged Attention mit KV-Caching senken Latenz und Speicherbedarf. Zudem unterstützt TGI Quantisierung sowie eine zu OpenAI kompatible API und strukturierte Ausgaben über JSON- und Regex-Grammatiken.
TGI unterstützt gängige offene Modellfamilien wie Llama, Falcon, StarCoder oder BLOOM und wird bei Hugging Face selbst für Dienste wie die Inference API und Inference Endpoints eingesetzt. Wichtig: Seit Ende 2025 befindet sich TGI im Wartungsmodus; für neue Inference-Endpoints empfiehlt Hugging Face alternative Engines wie vLLM oder SGLang.
Beispiel / Praxisbezug
Ein Unternehmen, das ein offenes Sprachmodell auf eigener GPU-Hardware betreiben möchte, kann TGI als Container starten, das gewünschte Modell angeben und erhält sofort einen API-Endpunkt. Eine Anwendung sendet Prompts an diesen Endpunkt und empfängt die Antwort als Stream. Dank Continuous Batching kann derselbe Server viele parallele Nutzeranfragen bedienen, ohne für jede eine eigene Modellinstanz vorzuhalten.
Abgrenzung zu ähnlichen Begriffen
TGI ist ein Inferenz-Server und steht damit in einer Reihe mit vLLM und Ollama. vLLM verfolgt einen ähnlichen Ansatz mit Fokus auf maximalen Durchsatz und gilt seit dem Wartungsmodus von TGI vielfach als dessen Nachfolger. Ollama ist dagegen stärker auf den einfachen lokalen Einsatz auf einzelnen Rechnern ausgerichtet. Alle drei lösen dieselbe Aufgabe — Modelle effizient verfügbar machen —, unterscheiden sich aber in Zielgruppe, Performance-Profil und Betriebskomfort.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarGPT4All
GPT4All ist eine quelloffene Desktop-Anwendung von Nomic AI, mit der sich große Sprachmodelle lokal und offline auf dem eigenen Rechner ausführen lassen. Sie funktioniert ohne GPU und ohne Cloud-Anbindung, sodass Daten das Gerät nicht verlassen.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.