$/MTok (Kosten pro Million Tokens)
Standard-Preisangabe bei KI-APIs — Kosten in US-Dollar pro eine Million verarbeitete Tokens. Wird getrennt für Input, Output und ggf. Cache angegeben.
Redaktion
API-Nutzung
Praktische Aspekte der LLM-API-Nutzung — Streaming, Caching, Rate Limits.
-
-
Batch-API
Asynchroner API-Modus, bei dem viele Anfragen gesammelt und mit deutlichem Preisrabatt verarbeitet werden — Ergebnisse liegen meist innerhalb von 24 Stunden vor.
Redaktion -
Input-Token
Tokens, die du beim API-Aufruf an ein KI-Modell sendest — dein Prompt, der Kontext, mitgegebene Dokumente. Werden separat von Output-Tokens und meist deutlich günstiger berechnet.
Redaktion - ki-konzepte API-Nutzung
Keyword-Glossar (STT)
Ein Keyword-Glossar für Speech-to-Text ist eine kurze, kuratierte Liste eigener Fachbegriffe, Marken- und Produktnamen, die einem STT-Modell vor der Transkription als Kontext-Hint mitgegeben wird — typischerweise über Whispers `initial_prompt`.
Redaktion -
Output-Token
Tokens, die ein KI-Modell als Antwort erzeugt. Werden separat berechnet und sind meist drei- bis fünfmal teurer als Input-Tokens, weil das Modell sie aktiv generieren muss.
Redaktion -
Prompt Caching
Prompt Caching ist eine API-Funktion, bei der ein Anbieter wiederkehrende Prompt-Bestandteile zwischenspeichert — Folgeanfragen werden dadurch günstiger und schneller, weil der gecachte Teil nicht erneut verarbeitet wird.
Redaktion -
Rate Limit (KI)
Vom API-Anbieter durchgesetzte Obergrenze für Anfragen oder Tokens pro Zeitfenster — schützt die Infrastruktur und sichert faire Nutzung über alle Kunden hinweg.
Redaktion - ki-konzepte API-Nutzung
Streaming (LLM)
Streaming bezeichnet die Übertragung der LLM-Antwort tokenweise in Echtzeit — der Nutzer sieht den Text Wort für Wort statt erst am Ende der gesamten Generierung.
Redaktion -
Tier-Pricing
Mehrstufiges Modell-Angebot eines Anbieters — kleine, schnelle Varianten (Mini/Flash/Haiku) zum Bruchteil des Preises der großen Frontier-Modelle. Auch: Volume-Tiers mit Mengenrabatt.
Redaktion - ki-konzepte API-Nutzung
TPM/RPM
TPM (Tokens pro Minute) und RPM (Requests pro Minute) sind die beiden gängigen Einheiten, in denen KI-API-Anbieter ihre Rate Limits ausdrücken — TPM begrenzt das Token-Volumen, RPM die Anzahl der Anfragen pro Minute.
Redaktion - ki-konzepte API-Nutzung
Whisper initial_prompt
Mit dem Parameter `initial_prompt` lässt sich Whisper vor der Transkription eine Keyword-Liste oder ein Beispielsatz mitgeben. Das Modell behandelt diesen Text als Kontext und erkennt darin enthaltene Begriffe deutlich zuverlässiger.
Redaktion