Zurück zum Glossar

Begriff

Batch-API

Asynchroner API-Modus, bei dem viele Anfragen gesammelt und mit deutlichem Preisrabatt verarbeitet werden — Ergebnisse liegen meist innerhalb von 24 Stunden vor.

Batch-API — ausführlicher erklärt

Eine Batch-API ist ein asynchroner Verarbeitungsmodus für KI-Anbieter wie OpenAI, Anthropic oder Google. Statt jede Anfrage einzeln in Echtzeit zu beantworten, lädt der Nutzer eine Sammeldatei mit hunderten oder tausenden Anfragen hoch; der Anbieter verarbeitet sie zeitversetzt und liefert die Ergebnisse innerhalb eines Service-Level-Fensters (üblich: 24 Stunden). Im Gegenzug fällt der Token-Preis typischerweise um etwa 50 % gegenüber der Echtzeit-API.

Beispiel / Praxisbezug

Typische Einsatzszenarien sind nicht-interaktive Workloads: Klassifikation eines großen Korpus, Erzeugung von Embeddings für eine Wissensdatenbank, Auswertung von Kundenfeedback oder synthetische Datenerzeugung. Der Workflow ist immer ähnlich — JSONL-Datei mit Anfragen vorbereiten, hochladen, auf den Status completed warten, Ergebnisdatei herunterladen.

Abgrenzung zu ähnlichen Begriffen

Die Batch-API unterscheidet sich von der regulären (synchronen) API durch Latenz und Preis: synchron heißt Antwort in Sekunden zum vollen Tarif, batch heißt Antwort in Stunden zum Rabatt-Tarif. Sie ist auch nicht zu verwechseln mit Streaming, das die Antwort innerhalb einer einzelnen Anfrage tokenweise ausliefert.

Entdecke mehr