Begriff
Prompt Caching
Prompt Caching ist eine API-Funktion, bei der ein Anbieter wiederkehrende Prompt-Bestandteile zwischenspeichert — Folgeanfragen werden dadurch günstiger und schneller, weil der gecachte Teil nicht erneut verarbeitet wird.
Prompt Caching — ausführlicher erklärt
Bei langen System-Prompts, Tool-Definitionen oder mitgegebenen Dokumenten wiederholt sich derselbe Text-Block oft über tausende Anfragen hinweg. Ohne Caching wird er jedes Mal komplett tokenisiert und durch die ersten Layer des Modells geschickt. Prompt Caching speichert die internen Zustände nach diesem Block — sogenannte Key-Value-Cache-Einträge — und nutzt sie bei der nächsten Anfrage wieder. Anthropic, OpenAI und Google bieten das als API-Funktion an. Der Effekt ist dramatisch: Cache-Hits kosten typischerweise nur 10 % des regulären Input-Token-Preises und reduzieren die Time-to-First-Token spürbar. Caches haben begrenzte Lebensdauer (meist 5 Minuten passiv, Stunden bis Tage explizit) und müssen am Anfang des Prompts liegen.
Beispiel / Praxisbezug
Klassischer Anwendungsfall: ein Coding-Agent führt einen Multi-Turn-Dialog mit 30k Tokens Repository-Kontext. Ohne Caching kostet jede Folgeanfrage volle 30k Input-Tokens. Mit Prompt Caching werden Repository-Kontext und System-Prompt nach dem ersten Aufruf gecacht — die nächsten zwanzig Turns kosten nur die jeweils neu hinzugekommenen Tokens (Nutzer-Frage + bisherige Antworten) zum vollen Tarif, der Rest zum Cache-Hit-Preis.
Abgrenzung zu ähnlichen Begriffen
Klassisches Response-Caching speichert komplette Antworten zu identischen Anfragen — nutzt aber bei minimaler Variation der Eingabe nichts mehr. Embedding-Caching speichert berechnete Vektor-Repräsentationen, ist also eine andere Cache-Schicht. Prompt Caching wirkt nicht über identische Anfragen hinweg, sondern über identische Prompt-Präfixe — und ist damit deutlich praktikabler im Agent-Betrieb.
Entdecke mehr
Headless ohne API-Rechnung — wie kommt man 2026 an die besten KI-Modelle für Automatisierung?
Anbieter-Vergleich Mitte 2026: Wer hat Headless-Modus, wessen Abo deckt ihn noch — und warum BYOK das stabilste Fundament ist.
Glossar$/MTok (Kosten pro Million Tokens)
Standard-Preisangabe bei KI-APIs — Kosten in US-Dollar pro eine Million verarbeitete Tokens. Wird getrennt für Input, Output und ggf. Cache angegeben.
LexikonFunction Calling / Tool Use
Wie ein LLM Werkzeuge aufruft: Tool-Definition als Schema, Modell wählt Funktion und Argumente, Ergebnis zurück ins Gespräch — der Grundbaustein jedes Agenten.