Begriff
Inferenz
Inferenz bezeichnet das Ausführen eines bereits trainierten Modells, um aus einer Eingabe eine Antwort zu generieren — also den produktiven Betrieb, nicht das Training.
Inferenz — ausführlicher erklärt
Während das Training ein Modell auf Daten anpasst, ist Inferenz der Vorgang, bei dem das fertige Modell genutzt wird: Ein Prompt geht rein, Token für Token wird die Antwort errechnet, der Output kommt raus. Inferenz ist deutlich günstiger als Training, summiert sich aber bei produktivem Einsatz schnell — jede Anfrage kostet Rechenzeit (GPU/CPU), Speicher und Energie.
Beispiel / Praxisbezug
Ein lokales Llama-3-Modell auf einem Laptop läuft im Inferenz-Modus: llama.cpp lädt die Gewichte in den RAM, der Prompt wird durchs Netz geschickt, Tokens werden gesampelt. Bei API-Diensten wie der Anthropic- oder OpenAI-API zahlen Nutzer pro Inferenz, abgerechnet in Input- und Output-Tokens. Stellgrößen wie Quantisierung, Batch-Größe oder KV-Cache entscheiden über Geschwindigkeit und Kosten.
Abgrenzung zu ähnlichen Begriffen
Inferenz ist nicht Training und nicht Fine-Tuning — die Gewichte verändern sich dabei nicht. Sie ist auch keine bloße Vorhersage einer einzelnen Klasse: bei generativen Modellen ist Inferenz ein iterativer Prozess, der Token für Token einen ganzen Output aufbaut.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarReasoning Effort
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.