Begriff
Benchmark (KI)
Ein KI-Benchmark ist ein standardisierter Aufgaben-Datensatz, der Sprachmodelle vergleichbar macht — gleiche Fragen, gleiches Scoring, transparente Ergebnisse für Reasoning, Wissen oder Coding.
Benchmark (KI) — ausführlicher erklärt
KI-Benchmarks bestehen aus festen Aufgabenmengen mit eindeutiger Bewertung. Modelle bekommen identische Eingaben, ihre Antworten werden gegen Goldlösungen geprüft (Multiple-Choice-Trefferquote, Test-Suite-Pass, Judge-Score). Das macht Modelle untereinander vergleichbar und bildet die Basis für Leaderboards. 2026 sind die wichtigsten Benchmarks MMLU (Wissen), GPQA-Diamond (PhD-Reasoning), SWE-bench Verified (Coding-Agent), MATH und HumanEval (Code) sowie die Chatbot Arena mit Elo-Ranking aus echten Nutzer-Votings.
Beispiel / Praxisbezug
Wer Modelle für ein Projekt auswählt, schaut typisch in einer Mischung: GPQA für Reasoning, SWE-bench Verified für Engineering-Tasks, Arena-Elo für allgemeine Antwortqualität. MMLU verliert an Aussagekraft, da die Spitzenmodelle dort über 90 Prozent erreichen — der Benchmark „saturiert”. Neuere Tests wie HLE (Humanity’s Last Exam) und LiveCodeBench ersetzen ihn als Differenzierer.
Abgrenzung zu ähnlichen Begriffen
Ein Benchmark ist statisch und einmalig kuratiert; eine Eval-Suite (siehe Evals) ist meist projekt-spezifisch und laufend angepasst. Ein Leaderboard aggregiert Benchmark-Ergebnisse, ist aber kein Benchmark selbst. Risiken: Benchmark-Contamination (Trainingsdaten enthalten Test-Items) und Overfitting auf populäre Suiten — daher der Trend zu verified-Varianten und privaten Hold-Out-Sets.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarRecall
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
LexikonLLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.