Begriff
LLM-as-a-Judge
LLM-as-a-Judge bezeichnet das Verfahren, ein Sprachmodell als Bewerter einzusetzen — es vergleicht Antworten anderer Modelle oder bewertet Ausgaben gegen vorgegebene Kriterien.
LLM-as-a-Judge — ausführlicher erklärt
Statt jede Modellausgabe von Menschen bewerten zu lassen, übernimmt ein zweites, oft stärkeres LLM die Rolle des Schiedsrichters. Es bekommt eine Aufgabe, die zu prüfende Antwort und einen Bewertungsschlüssel — etwa „Bewerte Faktentreue auf einer Skala 1–5” oder „Welche der beiden Antworten ist besser?”. Typische Spielarten: single-grading (eine Antwort, absolute Note), pairwise comparison (zwei Antworten, Sieger küren) und reference-based judging mit Goldlösung.
Beispiel / Praxisbezug
In RAG-Pipelines bewerten Judges Faithfulness, Answer Relevancy und Context Precision automatisiert über tausende Beispiele. Frameworks wie RAGAS, DeepEval und Promptfoo setzen Judges produktiv ein. Auch Chatbot Arena verwendet ein Judge-Modell als Vor-Filter. Faustregel: ein Judge sollte mindestens eine Modellklasse besser sein als das geprüfte Modell, sonst sinkt die Aussagekraft.
Abgrenzung zu ähnlichen Begriffen
LLM-as-a-Judge ist ein Werkzeug innerhalb einer Eval-Pipeline, kein Ersatz für menschliche Bewertung — Judges erben Bias der Trainingsdaten, neigen zu Position-Bias (bevorzugen die erste Antwort) und Length-Bias (bevorzugen längere Antworten). Daher: Judges kalibrieren, mehrere Modelle als Jury einsetzen oder gegen menschliche Stichproben validieren. Abgrenzung: ein klassischer Benchmark hat objektive Goldlösungen, ein Judge bewertet auch offene Antworten.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarRecall
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
LexikonLLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.