Begriff
Batch-Inferenz
Batch-Inferenz bezeichnet das gebündelte Verarbeiten vieler Prompts in einem Durchlauf — entweder lokal über die GPU oder als asynchroner API-Job — zugunsten von Durchsatz und Kosten statt Echtzeit-Latenz.
Batch-Inferenz — ausführlicher erklärt
Wenn ein Sprachmodell jeweils nur einen einzelnen Prompt verarbeitet, liegt die GPU einen Großteil der Zeit brach — Speicher und Recheneinheiten sind nicht ausgelastet. Batch-Inferenz bündelt deshalb mehrere Anfragen, die gleichzeitig durch das Modell laufen. Die Mehrkosten pro zusätzlichem Prompt sind klein, weil Gewichte ohnehin im Speicher liegen. Anbieter wie OpenAI und Anthropic bieten eigene Batch-APIs an: Anfragen werden als Datei eingereicht und innerhalb von Stunden zurückgeliefert — mit deutlichem Rabatt (oft 50 %) gegenüber dem Echtzeit-Tarif. Lokal übernimmt diese Bündelung typischerweise eine Serving-Engine wie vLLM.
Beispiel / Praxisbezug
Klassischer Anwendungsfall: 200.000 Produktbeschreibungen einer E-Commerce-Datenbank sollen durch ein LLM in eine kürzere Variante umgeschrieben werden. Echtzeit über die normale API wäre teuer und langsam. Stattdessen werden alle Anfragen in eine JSONL-Datei geschrieben und an die Batch-API geschickt; das Resultat liegt am nächsten Morgen vor — zur halben Token-Rate. Dasselbe Muster gilt für Eval-Läufe, Re-Indexierung oder das Erzeugen synthetischer Trainingsdaten.
Abgrenzung zu ähnlichen Begriffen
Echtzeit-Inferenz beantwortet einzelne Anfragen sofort, ist nötig für Chats, Agenten und IDE-Integration — kostet aber pro Token mehr und ist nicht beliebig parallelisierbar. Streaming liefert die Antwort tokenweise zurück, ist also eine Variante der Echtzeit-Inferenz. Continuous Batching (vLLM, TGI) ist die technische Umsetzung von Batch-Inferenz im Echtzeit-Servierbetrieb: Anfragen werden dynamisch zu Batches zusammengefasst, ohne die Antwort merklich zu verzögern.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarGGUF
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
LexikonLLMs lokal betreiben — Hardware, Tools, Modelle
Wie du Sprachmodelle auf eigener Hardware betreibst — VRAM-Bedarf, Tool-Landschaft (Ollama, LM Studio, llama.cpp, vLLM) und welche Modelle für welche GPU.