Begriff
Streaming (LLM)
Streaming bezeichnet die Übertragung der LLM-Antwort tokenweise in Echtzeit — der Nutzer sieht den Text Wort für Wort statt erst am Ende der gesamten Generierung.
Streaming — ausführlicher erklärt
Sprachmodelle erzeugen Text autoregressiv: Token für Token, nacheinander. Ohne Streaming wartet der Client, bis die komplette Antwort fertig ist, und bekommt sie dann auf einmal. Mit Streaming pusht der API-Server jedes neu erzeugte Token sofort an den Client — typischerweise über Server-Sent Events (SSE) oder WebSockets. Das ändert die User Experience grundlegend: die wahrgenommene Wartezeit kollabiert auf die Time-to-First-Token (oft unter einer Sekunde), und der Nutzer kann lange Antworten lesen, während sie noch entstehen. Programmatisch erfordert Streaming etwas mehr Code als ein einfacher Request-Response-Aufruf — Bibliotheken wie das Anthropic-, OpenAI- oder Vercel-AI-SDK kapseln das aber sauber.
Beispiel / Praxisbezug
ChatGPT, Claude.ai, Cursor-Chat — alle bekannten KI-Chats nutzen Streaming, weil eine drei Sekunden lange „nichts passiert”-Phase die UX zerstört. Im Backend-Einsatz dagegen ist Streaming oft unnötig: wer einen LLM-Aufruf in einer Pipeline verwendet, will meist die fertige Antwort verarbeiten und nicht zwischen Tokens reagieren. In Agent-Loops mit Tool-Use ist Streaming ebenfalls weniger kritisch, weil ohnehin auf strukturierte Tool-Calls gewartet werden muss.
Abgrenzung zu ähnlichen Begriffen
Batch-Inferenz ist das Gegenteil von Streaming — bewusst keine Echtzeit, dafür hoher Durchsatz und niedrige Kosten. Time-to-First-Token (TTFT) ist die wichtigste Latenz-Metrik im Streaming-Kontext. Tokens-per-Second misst danach, wie schnell die Generierung weiterläuft. Beide Werte unterscheiden sich stark zwischen Modellen und werden in API-Auswahl-Entscheidungen mit einbezogen.
Entdecke mehr
Headless ohne API-Rechnung — wie kommt man 2026 an die besten KI-Modelle für Automatisierung?
Anbieter-Vergleich Mitte 2026: Wer hat Headless-Modus, wessen Abo deckt ihn noch — und warum BYOK das stabilste Fundament ist.
GlossarDSGVO-konformer LLM-Einsatz
DSGVO-konformer LLM-Einsatz bezeichnet die datenschutzgerechte Nutzung grosser Sprachmodelle wie ChatGPT, Claude oder Gemini im Unternehmen — mit Rechtsgrundlage, Auftragsverarbeitungsvertrag, kontrollierter Eingabe personenbezogener Daten, EU-Hosting und Trainings-Opt-out.
LexikonFunction Calling / Tool Use
Wie ein LLM Werkzeuge aufruft: Tool-Definition als Schema, Modell wählt Funktion und Argumente, Ergebnis zurück ins Gespräch — der Grundbaustein jedes Agenten.