KI-Konzepte
Grundbegriffe und Mechanik moderner Sprachmodelle und KI-Workflows.
- $/MTok (Kosten pro Million Tokens) API-Nutzung LLM-Pricing
Standard-Preisangabe bei KI-APIs — Kosten in US-Dollar pro eine Million verarbeitete Tokens. Wird getrennt für Input, Output und ggf. Cache angegeben.
- Adapter (PEFT) Training & Fine-Tuning
Ein Adapter ist ein kleines, neu hinzugefügtes Netzwerk-Modul, das in ein eingefrorenes Sprachmodell injiziert wird — nur diese Module werden trainiert, das Basis-Modell selbst bleibt unverändert.
- Agent Skills Agenten
Modulare, wiederverwendbare Anweisungspakete (z. B. Claude Agent Skills), die ein KI-Agent bei Bedarf von der Festplatte lädt, um spezialisierte Aufgaben auszuführen — Kern ist eine SKILL.md mit Metadaten und Instruktionen, ergänzt um Skripte und Referenzdateien.
- Agentic RAG RAG
Agentic RAG ist eine RAG-Architektur, in der ein Agent das Retrieval steuert — er zerlegt Fragen, sucht iterativ, prüft Treffer und entscheidet selbst, ob ein zweiter oder dritter Durchgang nötig ist.
- Attention-Mechanismus
Rechenverfahren in Transformer-Modellen, das gewichtet, welche Teile des Eingabetextes für die Vorhersage des nächsten Tokens am relevantesten sind — statt jeden Teil gleich stark zu berücksichtigen.
- Audio-Normalisierung LLM-Grundlagen
Audio-Normalisierung ist die adaptive lineare Skalierung eines Audio-Signals auf einen Zielpegel — das Tool misst zuerst einen Bezugswert (Peak, RMS oder LUFS) und berechnet daraus den nötigen Gain.
- Auftragsverarbeitung (AVV) API-Nutzung
Auftragsverarbeitung liegt vor, wenn ein Dienstleister personenbezogene Daten weisungsgebunden für einen Verantwortlichen verarbeitet. Der Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO regelt die Pflichtinhalte dieser Zusammenarbeit.
- AutoGPT Agenten
AutoGPT ist ein 2023 veröffentlichtes Open-Source-Experiment, das ein Sprachmodell wie GPT-4 in einer autonomen Schleife laufen lässt — es zerlegt ein Ziel selbst in Teilaufgaben, ruft Werkzeuge auf und arbeitet sie mit minimalem menschlichem Eingriff ab.
- Automatic Speech Recognition (ASR) LLM-Grundlagen
Automatic Speech Recognition (ASR), auch Speech-to-Text (STT) genannt, bezeichnet die automatische Umwandlung gesprochener Sprache in geschriebenen Text durch ein akustisches Modell.
- Batch-API API-Nutzung LLM-Pricing
Asynchroner API-Modus, bei dem viele Anfragen gesammelt und mit deutlichem Preisrabatt verarbeitet werden — Ergebnisse liegen meist innerhalb von 24 Stunden vor.
- Batch-Inferenz Lokales LLM
Batch-Inferenz bezeichnet das gebündelte Verarbeiten vieler Prompts in einem Durchlauf — entweder lokal über die GPU oder als asynchroner API-Job — zugunsten von Durchsatz und Kosten statt Echtzeit-Latenz.
- Benchmark (KI) Evaluation
Ein KI-Benchmark ist ein standardisierter Aufgaben-Datensatz, der Sprachmodelle vergleichbar macht — gleiche Fragen, gleiches Scoring, transparente Ergebnisse für Reasoning, Wissen oder Coding.
- Browser Use Agenten
Browser Use bezeichnet KI-Agenten, die einen echten Webbrowser steuern — navigieren, klicken, Formulare ausfüllen, Inhalte auslesen — um Aufgaben im Web autonom zu erledigen. Der Browser ist dabei Werkzeug und Wahrnehmungsfläche zugleich.
- Catastrophic Forgetting Training & Fine-Tuning
Catastrophic Forgetting bezeichnet den Effekt, dass ein neuronales Netz beim Training auf neuen Daten zuvor erlerntes Wissen ganz oder teilweise verliert — ein zentrales Problem beim Fine-Tuning von Sprachmodellen.
- Chain-of-Thought Prompting
Chain-of-Thought (CoT) ist eine Prompting-Technik, bei der das Modell aufgefordert wird, seinen Lösungsweg in Zwischenschritten auszuformulieren — das verbessert die Trefferquote bei Aufgaben mit mehreren Denkschritten.
- Chunking RAG
Chunking ist das Zerlegen längerer Texte in kleinere, eigenständig sinnvolle Abschnitte — der erste Schritt jeder RAG-Pipeline, weil Embeddings und Retrieval auf Stück-Ebene arbeiten.
- Cloud Act API-Nutzung
US-Gesetz von 2018 (Clarifying Lawful Overseas Use of Data Act). US-Behörden können US-Anbieter zur Herausgabe von Daten zwingen, auch wenn diese außerhalb der USA — etwa in der EU — gespeichert sind. Steht im Spannungsfeld zur DSGVO.
- Computer Use Agenten
Computer Use ist eine Fähigkeit moderner KI-Modelle, einen Computer wie ein Mensch zu bedienen — Bildschirm sehen, Maus bewegen, Tastatur nutzen — um Aufgaben in beliebigen Anwendungen ohne API auszuführen.
- Constitutional AI Prompting
Constitutional AI ist ein von Anthropic entwickeltes Trainingsverfahren, bei dem ein KI-Modell sein eigenes Verhalten anhand einer expliziten Liste von Prinzipien (einer „Verfassung") kritisiert und überarbeitet — statt allein über menschliche Bewertungen.
- Context Engineering Prompting
Context Engineering ist die Disziplin, alle Inhalte des LLM-Kontextfensters — System-Prompt, Tool-Definitionen, RAG-Treffer, Memory, Konversationshistorie — bewusst zu kuratieren und über die Zeit zu pflegen.
- Context Precision Evaluation
Context Precision ist eine RAG-Eval-Metrik (0–1), die misst, wie gut der Retriever relevante Kontexte vor irrelevante platziert — Fokus liegt auf Ranking-Qualität, nicht auf reiner Trefferanzahl.
- Context Recall Evaluation
Context Recall ist eine RAG-Eval-Metrik (0–1), die misst, wie vollständig der Retriever die für die Goldantwort nötigen Fakten geliefert hat — fehlt ein Fakt im Kontext, sinkt der Score.
- Contextual Retrieval RAG
Contextual Retrieval ist eine RAG-Technik von Anthropic, die jedem Chunk vor dem Indexieren einen vom LLM generierten Kontext-Satz voranstellt — und so die Trefferqualität deutlich erhöht.
- Continued Pretraining Training & Fine-Tuning
Continued Pretraining ist das Weitertrainieren eines bereits vortrainierten Sprachmodells auf großen Mengen Domänen-Text — bevor klassisches Fine-Tuning beginnt.
- Cosine Similarity RAG
Cosine Similarity misst die Ähnlichkeit zweier Vektoren über den Winkel zwischen ihnen — Standardmaß im RAG-Retrieval, um Embeddings einer Anfrage mit Embeddings im Vektor-Index zu vergleichen.
- Data Residency API-Nutzung
Data Residency (Datenresidenz) bezeichnet den physischen Speicher- und Verarbeitungsort von Daten — also die geografische Region oder das Land, in dem Server stehen. Sie sagt nichts darüber aus, welches Recht auf die Daten zugreifen darf.
- dBFS, Headroom & Clipping LLM-Grundlagen
Drei zusammenhängende Begriffe für digitale Audio-Pegel: dBFS ist die Skala mit 0 dBFS als absoluter Obergrenze, Headroom der Sicherheitsabstand zum Maximum, Clipping das harte Abschneiden bei Überschreitung.
- DPO (Direct Preference Optimization) Training & Fine-Tuning
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
- DSGVO-konformer LLM-Einsatz API-Nutzung
DSGVO-konformer LLM-Einsatz bezeichnet die datenschutzgerechte Nutzung grosser Sprachmodelle wie ChatGPT, Claude oder Gemini im Unternehmen — mit Rechtsgrundlage, Auftragsverarbeitungsvertrag, kontrollierter Eingabe personenbezogener Daten, EU-Hosting und Trainings-Opt-out.
- Embedding LLM-Grundlagen
Ein Embedding ist eine Zahlenrepräsentation (Vektor) von Text, Bild oder anderen Daten, in der semantisch ähnliche Inhalte räumlich nah beieinander liegen.
- Ensemble / Multi-Modell-Orchestrierung Agenten
Ensemble bezeichnet das Kombinieren mehrerer bewusst variierter LLM-Läufe oder Modelle, deren Funde sich ergänzen. Multi-Modell-Orchestrierung steuert diese Läufe über Orchestratoren mit Sub-Agenten, sodass die Vereinigung der Ergebnisse größer ist als jeder Einzellauf.
- EU AI Act (KI-Verordnung) API-Nutzung
Die Verordnung (EU) 2024/1689 ist das erste umfassende KI-Gesetz der EU. Sie reguliert KI-Systeme risikobasiert in vier Stufen, von verbotenen Praktiken bis minimalem Risiko, und legt Pflichten fuer Anbieter und Betreiber fest.
- Evals Evaluation
Evals sind systematische Tests für LLM-Anwendungen — feste Testfälle, automatische Bewertung der Antworten, Ergebnis als Score. Grundlage, um Prompt- oder Modellwechsel objektiv zu vergleichen.
- Faithfulness Evaluation
Faithfulness ist eine RAG-Eval-Metrik (0–1), die misst, wie viele Aussagen einer Antwort sich tatsächlich aus den abgerufenen Kontexten ableiten lassen — ein direkter Halluzinations-Indikator.
- Few-Shot Prompting Prompting
Few-Shot Prompting ist eine Technik, bei der dem Modell im Prompt einige Beispiele der gewünschten Input-Output-Paarung gezeigt werden, um Format und Stil der Antwort zu steuern.
- Fine-Tuning Training & Fine-Tuning
Nachtraining eines vortrainierten Modells auf einem kleineren, spezialisierten Datensatz, um Stil, Format oder Domänenwissen gezielt anzupassen.
- Function Calling Agenten
Function Calling ist die Fähigkeit eines Sprachmodells, statt einer Textantwort einen strukturierten Funktionsaufruf zu erzeugen — die technische Grundlage für Tool-Use und KI-Agenten.
- GGUF Lokales LLM
GGUF (GPT-Generated Unified Format) ist das Standard-Dateiformat für quantisierte LLMs auf der llama.cpp-Engine — eine `.gguf`-Datei enthält Gewichte, Tokenizer und Metadaten in einem.
- GraphRAG RAG
GraphRAG ist eine RAG-Variante, die statt reiner Vektorsuche einen Knowledge Graph nutzt — Antworten kommen aus verknüpften Entitäten und Beziehungspfaden, nicht nur ähnlichem Text.
- Ground Truth
Eine als korrekt geltende Referenz-Wahrheit, gegen die man Modell-Outputs misst. In der KI-Code-Analyse ist es ein Code-Stück mit gezielt eingebauten, bekannten Fehlern, sodass messbar wird, wie viel ein Modell wirklich findet.
- Guardrails Prompting
Guardrails sind Schutzmechanismen rund um ein Sprachmodell, die Eingaben und Ausgaben prüfen, um unerwünschtes Verhalten — etwa Off-Topic-Antworten, PII-Lecks oder unsichere Aktionen — abzufangen.
- Halluzination LLM-Grundlagen
Eine Halluzination ist eine Antwort eines Sprachmodells, die plausibel klingt, aber faktisch falsch oder erfunden ist — typische Quelle ist statistisches Raten ohne Faktenanker.
- Hybrid Search RAG
Hybrid Search kombiniert lexikalische Volltext-Suche (z. B. BM25) mit semantischer Vektor-Suche und vereint die Stärken beider Verfahren — präzise auf Keywords und robust auf Bedeutung.
- HyDE RAG
HyDE (Hypothetical Document Embeddings) ist eine RAG-Technik, bei der ein LLM aus der Frage eine fiktive Antwort erzeugt — und dann mit deren Embedding nach echten Dokumenten sucht.
- Indirect Prompt Injection Prompting
Indirect Prompt Injection ist ein Angriff, bei dem schädliche Anweisungen in externen Inhalten — Webseiten, Dokumenten, E-Mails — versteckt werden, die ein LLM verarbeitet und dabei unbeabsichtigt ausführt.
- Inferenz LLM-Grundlagen
Inferenz bezeichnet das Ausführen eines bereits trainierten Modells, um aus einer Eingabe eine Antwort zu generieren — also den produktiven Betrieb, nicht das Training.
- Input-Token API-Nutzung LLM-Pricing
Tokens, die du beim API-Aufruf an ein KI-Modell sendest — dein Prompt, der Kontext, mitgegebene Dokumente. Werden separat von Output-Tokens und meist deutlich günstiger berechnet.
- Instruction Tuning Training & Fine-Tuning
Instruction Tuning ist eine Variante des Supervised Fine-Tuning, bei der ein Sprachmodell auf einem breit gestreuten Mix aus Instruktion-Antwort-Paaren trainiert wird — damit es Anweisungen beliebiger Aufgaben verlässlich befolgt.
- Jailbreak Prompting
Jailbreak bezeichnet das gezielte Umgehen der Sicherheits- und Verhaltensregeln eines Sprachmodells durch geschickt formulierte Prompts, sodass das Modell Inhalte produziert, die es eigentlich verweigern soll.
- Keyword-Glossar (STT) API-Nutzung
Ein Keyword-Glossar für Speech-to-Text ist eine kurze, kuratierte Liste eigener Fachbegriffe, Marken- und Produktnamen, die einem STT-Modell vor der Transkription als Kontext-Hint mitgegeben wird — typischerweise über Whispers `initial_prompt`.
- KI-Agent Agenten
Ein KI-Agent ist ein System, das ein Sprachmodell mit Werkzeugen kombiniert und mehrschrittig auf ein Ziel hinarbeitet — typischerweise in einer Schleife aus Beobachten, Planen und Handeln.
- Knowledge Distillation Training & Fine-Tuning
Knowledge Distillation ist ein Trainingsverfahren, bei dem ein kleines Schüler-Modell vom Verhalten eines großen Lehrer-Modells lernt — mit dem Ziel, vergleichbare Qualität bei deutlich geringerem Ressourcenbedarf zu erreichen.
- Kontextfenster LLM-Grundlagen
Das Kontextfenster ist die maximale Anzahl Tokens, die ein Sprachmodell gleichzeitig verarbeiten kann — Eingabe und Ausgabe zusammen.
- KV-Cache LLM-Grundlagen
Der KV-Cache (Key-Value-Cache) speichert während der Textgenerierung eines Sprachmodells die bereits berechneten Key- und Value-Vektoren der Attention-Schichten zwischen. So muss pro neuem Token nicht der gesamte Kontext neu berechnet werden, was die Inferenz deutlich beschleunigt.
- LLM LLM-Grundlagen
LLM steht für Large Language Model — ein neuronales Netz, das auf großen Mengen Text trainiert wurde, um natürliche Sprache zu verarbeiten und zu erzeugen.
- LLM-as-a-Judge Evaluation
LLM-as-a-Judge bezeichnet das Verfahren, ein Sprachmodell als Bewerter einzusetzen — es vergleicht Antworten anderer Modelle oder bewertet Ausgaben gegen vorgegebene Kriterien.
- LoRA Training & Fine-Tuning
Low-Rank Adaptation — parameter-effizientes Fine-Tuning, bei dem nur kleine Zusatz-Matrizen trainiert werden statt aller Modellgewichte.
- MCP Agenten
MCP — Model Context Protocol — ist ein offener Standard von Anthropic, um KI-Modelle einheitlich mit externen Datenquellen und Werkzeugen zu verbinden.
- Meta-Prompting Prompting
Meta-Prompting ist die Technik, ein LLM einen Prompt für eine Aufgabe schreiben oder verbessern zu lassen, statt ihn selbst zu formulieren — der Prompt wird zum Output.
- Model Card LLM-Grundlagen
Eine Model Card ist ein standardisiertes Datenblatt zu einem KI-Modell — sie dokumentiert Zweck, Trainingsdaten, Leistung, Limitierungen und ethische Hinweise an einer Stelle.
- ORPO (Odds Ratio Preference Optimization) Training & Fine-Tuning
ORPO ist ein Trainingsverfahren, das überwachtes Fine-Tuning und Präferenz-Optimierung in einem einzigen Schritt vereint — schlanker als die klassische SFT-plus-RLHF-Pipeline.
- Output-Token API-Nutzung LLM-Pricing
Tokens, die ein KI-Modell als Antwort erzeugt. Werden separat berechnet und sind meist drei- bis fünfmal teurer als Input-Tokens, weil das Modell sie aktiv generieren muss.
- PEFT (Parameter-Efficient Fine-Tuning) Training & Fine-Tuning
PEFT bündelt Verfahren, die ein vortrainiertes LLM anpassen, indem nur ein kleiner Bruchteil der Gewichte trainiert wird — typischerweise unter 1 %, statt aller Milliarden Parameter.
- Pfadabhängigkeit (LLM-Output) LLM-Grundlagen
Pfadabhängigkeit beschreibt, wie bei der LLM-Generierung jeder früh erzeugte Token den weiteren Verlauf festlegt — der erste verbalisierte Fund lenkt die gesamte restliche Analyse in eine Richtung.
- Prefix Tuning Training & Fine-Tuning
Prefix Tuning ist ein PEFT-Verfahren, bei dem nicht Modellgewichte, sondern eine Folge gelernter „virtueller Tokens" trainiert wird, die der Eingabe vorangestellt werden — das Basis-Modell bleibt eingefroren.
- Prompt Caching API-Nutzung LLM-Pricing
Prompt Caching ist eine API-Funktion, bei der ein Anbieter wiederkehrende Prompt-Bestandteile zwischenspeichert — Folgeanfragen werden dadurch günstiger und schneller, weil der gecachte Teil nicht erneut verarbeitet wird.
- Prompt Engineering Prompting
Prompt Engineering ist die Disziplin, KI-Modelle durch gezielt gestaltete Eingabeaufforderungen zu steuern — also durch präzises Schreiben statt klassische Programmierung.
- Prompt Injection Prompting
Prompt Injection ist ein Angriff, bei dem in den Eingabe-Daten eines LLMs Anweisungen versteckt werden, die das Modell dazu bringen, seine ursprünglichen Anweisungen zu ignorieren oder zu unterlaufen.
- Prompt Leaking Prompting
Prompt Leaking ist ein Angriff, der ein LLM dazu bringt, seinen versteckten System-Prompt oder andere vertrauliche Kontext-Inhalte preiszugeben — ein Sonderfall der Prompt Injection.
- Prompt Template Prompting
Ein Prompt Template ist ein wiederverwendbares Prompt-Gerüst mit Platzhaltern, in das pro Aufruf konkrete Werte eingesetzt werden — Grundlage für reproduzierbare LLM-Aufrufe in Anwendungen.
- QLoRA Training & Fine-Tuning
Erweiterung von LoRA, die das Basismodell auf 4 Bit quantisiert — dadurch lassen sich auch sehr große LLMs auf einer einzelnen GPU fein-tunen.
- Quantisierung Lokales LLM
Quantisierung reduziert die numerische Präzision der Modellgewichte — z. B. von 16-bit float auf 4-bit Integer — und macht Sprachmodelle so klein und schnell genug für Consumer-Hardware, mit überschaubarem Qualitätsverlust.
- Query Expansion RAG
Query Expansion erweitert die ursprüngliche Suchanfrage in einer RAG-Pipeline um Synonyme, Reformulierungen oder hypothetische Antwort-Texte, um die Trefferquote des Retrievals zu erhöhen.
- RAG LLM-Grundlagen
RAG (Retrieval-Augmented Generation) verbindet ein Sprachmodell mit einer externen Wissensquelle — passende Passagen werden gesucht und mit der Frage zusammen ans Modell gegeben.
- RAGAS Evaluation
RAGAS ist ein Open-Source-Framework zur automatisierten Bewertung von RAG- und Agenten-Pipelines — mit Standardmetriken wie Faithfulness, Context Precision und Answer Relevancy.
- Rate Limit (KI) API-Nutzung LLM-Pricing
Vom API-Anbieter durchgesetzte Obergrenze für Anfragen oder Tokens pro Zeitfenster — schützt die Infrastruktur und sichert faire Nutzung über alle Kunden hinweg.
- ReAct (Prompting) Prompting
ReAct ist ein Prompting-Muster, das ein LLM zwischen Reasoning (Gedanken) und Action (Tool-Aufrufen) abwechseln lässt — Grundlage vieler Agenten-Implementierungen.
- Reasoning Effort LLM-Grundlagen
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
- Recall Evaluation
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
- Reranking RAG
Reranking ordnet eine bereits gefundene Trefferliste mit einem genaueren Modell neu — typisch ein Cross-Encoder, der Anfrage und jeden Kandidaten gemeinsam bewertet, statt nur Vektor-Abstände zu vergleichen.
- RLHF Training & Fine-Tuning
Reinforcement Learning from Human Feedback — Trainingsverfahren, das Modelle anhand von menschlichen Präferenz-Vergleichen auf hilfreiches und sicheres Verhalten ausrichtet.
- Role Prompting Prompting
Role Prompting weist einem LLM eine konkrete Rolle oder Persona zu („Du bist ein erfahrener Steueranwalt …"), um Stil, Vokabular und Antworttiefe gezielt zu steuern.
- S-RAG RAG
S-RAG (Search-optimized RAG) ist boostN.ais Variante von Retrieval-Augmented Generation, die klassisches RAG um Suchmaschinen-Prinzipien erweitert: Relevanz-Ranking, Decay nach Aktualität und getypte Verlinkung zwischen Chunks für deterministisches Nachladen.
- Safetensors LLM-Grundlagen
Safetensors ist ein von Hugging Face entwickeltes Dateiformat zum Speichern von Modellgewichten — schneller, sicherer und sprachübergreifender als das ältere PyTorch-Format `.pt`/`.bin`.
- Sampling (LLM) LLM-Grundlagen
Sampling ist das gewichtete Ziehen des nächsten Tokens aus der Wahrscheinlichkeitsverteilung eines Sprachmodells — gesteuert über Temperatur, Top-p und Top-k. Es erzeugt die Variabilität zwischen zwei Läufen.
- Self-Consistency Prompting
Self-Consistency ist eine Prompting-Technik, bei der dieselbe Frage mehrfach mit Chain-of-Thought beantwortet und die häufigste Antwort als finales Ergebnis gewählt wird.
- Self-Refine Prompting
Self-Refine ist eine Prompting-Technik, bei der ein Modell seinen eigenen Output kritisiert und in mehreren Iterationen verbessert — ohne menschliches Feedback.
- Semantic Search RAG
Semantische Suche findet Inhalte über Bedeutung statt über exakte Wortübereinstimmung — Anfrage und Dokumente werden als Embeddings verglichen, sodass auch Synonyme und Umschreibungen treffen.
- SFT (Supervised Fine-Tuning) Training & Fine-Tuning
SFT bezeichnet das überwachte Nachtrainieren eines vortrainierten Sprachmodells auf einem Datensatz aus Eingabe-Ausgabe-Paaren — der Schritt, der ein Basis-Modell in einen brauchbaren Assistenten verwandelt.
- Spotlighting Prompting
Spotlighting ist eine Verteidigungstechnik gegen Prompt Injection, bei der nicht-vertrauenswürdige Eingaben markiert werden, damit das Modell sie als Daten — nicht als Anweisungen — behandelt.
- Stop Sequences LLM-Grundlagen
Stop Sequences sind Zeichenketten, bei deren Auftreten ein LLM die Token-Generierung sofort beendet. Sie begrenzen die Ausgabe gezielt, etwa um Rollenwechsel, Format-Marker oder überlange Antworten zu verhindern.
- Streaming (LLM) API-Nutzung
Streaming bezeichnet die Übertragung der LLM-Antwort tokenweise in Echtzeit — der Nutzer sieht den Text Wort für Wort statt erst am Ende der gesamten Generierung.
- Structured Output / JSON Mode Agenten
Structured Output bezeichnet die Fähigkeit eines Sprachmodells, Antworten in einem festgelegten Schema (typischerweise JSON) zu liefern — verlässlich genug, um direkt von Folge-Code weiterverarbeitet zu werden.
- Synthetic Data Training & Fine-Tuning
Synthetic Data sind künstlich erzeugte Trainings- oder Testdaten — meist von einem Sprachmodell selbst generiert, um Datensätze zu erweitern, ohne reale Quellen zu benötigen.
- System-Prompt Prompting
Der System-Prompt ist die Instruktion, die das Verhalten eines Sprachmodells über eine ganze Konversation festlegt — im Unterschied zum Nutzer-Prompt, der pro Nachricht variiert.
- Temperature LLM-Grundlagen
Temperature ist ein Sampling-Parameter, der steuert, wie deterministisch oder kreativ ein Sprachmodell antwortet — niedrige Werte machen Antworten konservativ, hohe Werte vielfältiger.
- Thinking Budget LLM-Grundlagen
Das Thinking Budget (Token-Budget) ist die maximale Zahl interner Reasoning-Tokens, die ein Reasoning-Modell pro Anfrage fürs „Nachdenken" verbrauchen darf — es steuert die Abwägung zwischen Antworttiefe und Kosten bzw. Latenz.
- Tier-Pricing API-Nutzung LLM-Pricing
Mehrstufiges Modell-Angebot eines Anbieters — kleine, schnelle Varianten (Mini/Flash/Haiku) zum Bruchteil des Preises der großen Frontier-Modelle. Auch: Volume-Tiers mit Mengenrabatt.
- Token LLM-Grundlagen
Ein Token ist die kleinste Einheit, mit der ein Sprachmodell intern arbeitet — meist ein Wortteil, gelegentlich ein einzelnes Zeichen.
- Tokenizer LLM-Grundlagen
Ein Tokenizer ist das Programm, das Text in Tokens zerlegt, bevor ein Sprachmodell ihn verarbeiten kann — er bestimmt, wie viele Tokens ein Text kostet.
- Tool Call Agenten
Aufruf eines Werkzeugs durch ein KI-Modell während einer Konversation — etwa Datei-Lesen, Bash-Befehle, Web-Recherche oder ein MCP-Tool. Grundlage agentischer Workflows.
- Top-p / Top-k LLM-Grundlagen
Top-p (Nucleus Sampling) und Top-k sind Sampling-Strategien für LLMs, die festlegen, aus welcher Token-Auswahl pro Schritt gezogen wird — sie steuern zusammen mit der Temperatur die Kreativität der Ausgabe.
- TPM/RPM API-Nutzung
TPM (Tokens pro Minute) und RPM (Requests pro Minute) sind die beiden gängigen Einheiten, in denen KI-API-Anbieter ihre Rate Limits ausdrücken — TPM begrenzt das Token-Volumen, RPM die Anzahl der Anfragen pro Minute.
- Tree of Thoughts Prompting
Tree of Thoughts (ToT) ist eine Prompting-Technik, bei der ein LLM mehrere Lösungspfade als verzweigten Baum exploriert, bewertet und nur vielversprechende Äste weiterverfolgt — eine Verallgemeinerung von Chain-of-Thought.
- Vektor-Datenbank RAG
Eine Vektor-Datenbank speichert Embeddings als hochdimensionale Vektoren und sucht darin nach semantischer Ähnlichkeit — die Kerninfrastruktur für RAG, semantische Suche und Empfehlungssysteme.
- VRAM Lokales LLM
VRAM (Video RAM) ist der dedizierte Speicher einer GPU — beim lokalen Betrieb von Sprachmodellen die wichtigste Hardware-Größe, weil das gesamte Modell und der Kontext idealerweise dort hineinpassen müssen.
- Whisper LLM-Grundlagen
Whisper ist OpenAIs offenes Speech-to-Text-Modell von 2022 — ein mehrsprachiger Encoder-Decoder-Transformer, der Audio in Text umwandelt und in mehreren Größen unter MIT-Lizenz verfügbar ist.
- Whisper initial_prompt API-Nutzung
Mit dem Parameter `initial_prompt` lässt sich Whisper vor der Transkription eine Keyword-Liste oder ein Beispielsatz mitgeben. Das Modell behandelt diesen Text als Kontext und erkennt darin enthaltene Begriffe deutlich zuverlässiger.
- XML-Tags im Prompt Prompting
XML-Tags sind benannte Klammern wie <kontext>...</kontext>, mit denen man Abschnitte eines Prompts klar voneinander abgrenzt. Sie strukturieren Eingaben, trennen Instruktion von Daten und machen die Antwort vorhersehbarer.
- Zero-Shot Prompting
Zero-Shot beschreibt das Lösen einer Aufgabe durch ein Sprachmodell ohne mitgelieferte Beispiele — allein über die Aufgabenbeschreibung im Prompt.