Begriff
Faithfulness
Faithfulness ist eine RAG-Eval-Metrik (0–1), die misst, wie viele Aussagen einer Antwort sich tatsächlich aus den abgerufenen Kontexten ableiten lassen — ein direkter Halluzinations-Indikator.
Faithfulness — ausführlicher erklärt
Faithfulness („Faktentreue”) prüft, ob eine generierte Antwort durch die mitgelieferten Quell-Kontexte gedeckt ist. Der Score bewegt sich zwischen 0 und 1: 1 bedeutet, jede Behauptung in der Antwort ist aus dem Kontext belegbar, 0 bedeutet, keine ist es. Berechnung in drei Schritten: 1) Claim-Extraktion — die Antwort wird in einzelne, atomare Aussagen zerlegt. 2) Claim-Verifikation — pro Aussage wird geprüft, ob sie sich aus den Kontexten logisch ableiten lässt. 3) Score = unterstützte Claims / gesamte Claims.
Beispiel / Praxisbezug
Frage: „Wann wurde Einstein geboren?”. Kontext: „Einstein wurde am 14. März 1879 in Deutschland geboren”. Antwort A: „Einstein wurde am 14. März 1879 in Deutschland geboren” — alle Behauptungen gedeckt → Score 1,0. Antwort B: „Einstein wurde am 20. März 1879 in Deutschland geboren” — Geburtsort gedeckt, Datum widerspricht → Score 0,5. In der Praxis berechnet etwa RAGAS diesen Wert per LLM-Judge oder per Spezial-Klassifizierer wie HHEM-2.1-Open.
Abgrenzung zu ähnlichen Begriffen
Faithfulness misst nur die Bindung an den gegebenen Kontext — nicht, ob die Antwort objektiv wahr ist. Eine Antwort kann faithful gegenüber einem fehlerhaften Kontext sein und trotzdem inhaltlich falsch. Davon abzugrenzen: Answer Relevancy (passt die Antwort zur Frage), Context Precision (wie viel des Kontexts ist überhaupt relevant) und Factual Correctness (Abgleich mit einer Goldantwort). In Produktion meist als Set zusammen gemessen, weil jede Metrik einen anderen Fehlerfall sichtbar macht.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarRecall
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
LexikonLLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.