API-Nutzung

DSGVO-konformer LLM-Einsatz bezeichnet die datenschutzgerechte Nutzung grosser Sprachmodelle wie ChatGPT, Claude oder Gemini im Unternehmen — mit Rechtsgrundlage, Auftragsverarbeitungsvertrag, kontrollierter Eingabe personenbezogener Daten, EU-Hosting und Trainings-Opt-out.

Die Verordnung (EU) 2024/1689 ist das erste umfassende KI-Gesetz der EU. Sie reguliert KI-Systeme risikobasiert in vier Stufen, von verbotenen Praktiken bis minimalem Risiko, und legt Pflichten fuer Anbieter und Betreiber fest.

Auftragsverarbeitung liegt vor, wenn ein Dienstleister personenbezogene Daten weisungsgebunden für einen Verantwortlichen verarbeitet. Der Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO regelt die Pflichtinhalte dieser Zusammenarbeit.

US-Gesetz von 2018 (Clarifying Lawful Overseas Use of Data Act). US-Behörden können US-Anbieter zur Herausgabe von Daten zwingen, auch wenn diese außerhalb der USA — etwa in der EU — gespeichert sind. Steht im Spannungsfeld zur DSGVO.

Data Residency (Datenresidenz) bezeichnet den physischen Speicher- und Verarbeitungsort von Daten — also die geografische Region oder das Land, in dem Server stehen. Sie sagt nichts darüber aus, welches Recht auf die Daten zugreifen darf.

Standard-Preisangabe bei KI-APIs — Kosten in US-Dollar pro eine Million verarbeitete Tokens. Wird getrennt für Input, Output und ggf. Cache angegeben.

Tokens, die du beim API-Aufruf an ein KI-Modell sendest — dein Prompt, der Kontext, mitgegebene Dokumente. Werden separat von Output-Tokens und meist deutlich günstiger berechnet.

Tokens, die ein KI-Modell als Antwort erzeugt. Werden separat berechnet und sind meist drei- bis fünfmal teurer als Input-Tokens, weil das Modell sie aktiv generieren muss.

Asynchroner API-Modus, bei dem viele Anfragen gesammelt und mit deutlichem Preisrabatt verarbeitet werden — Ergebnisse liegen meist innerhalb von 24 Stunden vor.

Ein Keyword-Glossar für Speech-to-Text ist eine kurze, kuratierte Liste eigener Fachbegriffe, Marken- und Produktnamen, die einem STT-Modell vor der Transkription als Kontext-Hint mitgegeben wird — typischerweise über Whispers `initial_prompt`.

Prompt Caching ist eine API-Funktion, bei der ein Anbieter wiederkehrende Prompt-Bestandteile zwischenspeichert — Folgeanfragen werden dadurch günstiger und schneller, weil der gecachte Teil nicht erneut verarbeitet wird.

Vom API-Anbieter durchgesetzte Obergrenze für Anfragen oder Tokens pro Zeitfenster — schützt die Infrastruktur und sichert faire Nutzung über alle Kunden hinweg.

Mehrstufiges Modell-Angebot eines Anbieters — kleine, schnelle Varianten (Mini/Flash/Haiku) zum Bruchteil des Preises der großen Frontier-Modelle. Auch: Volume-Tiers mit Mengenrabatt.

TPM (Tokens pro Minute) und RPM (Requests pro Minute) sind die beiden gängigen Einheiten, in denen KI-API-Anbieter ihre Rate Limits ausdrücken — TPM begrenzt das Token-Volumen, RPM die Anzahl der Anfragen pro Minute.

Mit dem Parameter `initial_prompt` lässt sich Whisper vor der Transkription eine Keyword-Liste oder ein Beispielsatz mitgeben. Das Modell behandelt diesen Text als Kontext und erkennt darin enthaltene Begriffe deutlich zuverlässiger.

Streaming bezeichnet die Übertragung der LLM-Antwort tokenweise in Echtzeit — der Nutzer sieht den Text Wort für Wort statt erst am Ende der gesamten Generierung.