ki-konzepte Evaluation
Benchmark (KI)
Ein KI-Benchmark ist ein standardisierter Aufgaben-Datensatz, der Sprachmodelle vergleichbar macht — gleiche Fragen, gleiches Scoring, transparente Ergebnisse für Reasoning, Wissen oder Coding.
Redaktion
Evaluation
Bewertung von LLM-Qualität — Evals, Benchmarks, Judges.
-
- ki-konzepte Evaluation
Context Precision
Context Precision ist eine RAG-Eval-Metrik (0–1), die misst, wie gut der Retriever relevante Kontexte vor irrelevante platziert — Fokus liegt auf Ranking-Qualität, nicht auf reiner Trefferanzahl.
Redaktion - ki-konzepte Evaluation
Context Recall
Context Recall ist eine RAG-Eval-Metrik (0–1), die misst, wie vollständig der Retriever die für die Goldantwort nötigen Fakten geliefert hat — fehlt ein Fakt im Kontext, sinkt der Score.
Redaktion - ki-konzepte Evaluation
Evals
Evals sind systematische Tests für LLM-Anwendungen — feste Testfälle, automatische Bewertung der Antworten, Ergebnis als Score. Grundlage, um Prompt- oder Modellwechsel objektiv zu vergleichen.
Redaktion - ki-konzepte Evaluation
Faithfulness
Faithfulness ist eine RAG-Eval-Metrik (0–1), die misst, wie viele Aussagen einer Antwort sich tatsächlich aus den abgerufenen Kontexten ableiten lassen — ein direkter Halluzinations-Indikator.
Redaktion - ki-konzepte Evaluation
LLM-as-a-Judge
LLM-as-a-Judge bezeichnet das Verfahren, ein Sprachmodell als Bewerter einzusetzen — es vergleicht Antworten anderer Modelle oder bewertet Ausgaben gegen vorgegebene Kriterien.
Redaktion - ki-konzepte Evaluation
RAGAS
RAGAS ist ein Open-Source-Framework zur automatisierten Bewertung von RAG- und Agenten-Pipelines — mit Standardmetriken wie Faithfulness, Context Precision und Answer Relevancy.
Redaktion - ki-konzepte Evaluation
Recall
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
Redaktion