Begriff
RAGAS
RAGAS ist ein Open-Source-Framework zur automatisierten Bewertung von RAG- und Agenten-Pipelines — mit Standardmetriken wie Faithfulness, Context Precision und Answer Relevancy.
RAGAS — ausführlicher erklärt
RAGAS (Retrieval-Augmented Generation Assessment) liefert vorgefertigte Metriken, um RAG-Systeme objektiv zu vergleichen — ohne für jede Änderung eine manuelle Bewertung zu organisieren. Die meisten Metriken arbeiten als LLM-as-a-Judge: ein Modell prüft anhand von Frage, abgerufenen Kontexten und finaler Antwort, ob z. B. die Antwort tatsächlich aus den Kontexten ableitbar ist (Faithfulness) oder ob das Retrieval die relevanten Stellen geliefert hat (Context Precision/Recall). Es lässt sich in CI-Pipelines einbinden, sodass jede Pipeline-Änderung gegen einen Eval-Datensatz gemessen wird.
Beispiel / Praxisbezug
Typischer Aufbau: Eval-Datensatz aus Frage, Goldantwort und Goldkontexten anlegen, Pipeline laufen lassen, RAGAS berechnet pro Beispiel Scores für Faithfulness, Answer Relevancy, Context Precision und Context Recall. Entwickler-Teams nutzen das, um Retriever zu vergleichen (Vektor vs. Hybrid vs. Reranking) oder um Prompt-Änderungen abzusichern. Über die RAG-Metriken hinaus deckt RAGAS auch Agent-Metriken (Tool-Call-Accuracy, Goal Achievement) und klassische NLP-Scores (BLEU, ROUGE, semantische Ähnlichkeit) ab.
Abgrenzung zu ähnlichen Begriffen
RAGAS ist eine konkrete Bibliothek, kein Konzept — vergleichbar mit DeepEval, TruLens und Promptfoo. Die Metriken selbst (Faithfulness, Context Precision …) sind universell und in mehreren Frameworks implementiert. RAGAS ist nicht das Gleiche wie ein Benchmark: es ist ein Mess-Werkzeug, das auf eigenen Eval-Datensätzen läuft. Schwächen: LLM-Judges sind teuer, langsam und können bei sehr engen Domänen unverlässlich werden — daher in Produktion oft mit menschlichen Stichproben kombinieren.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarRecall
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
LexikonLLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.