Begriff
Context Precision
Context Precision ist eine RAG-Eval-Metrik (0–1), die misst, wie gut der Retriever relevante Kontexte vor irrelevante platziert — Fokus liegt auf Ranking-Qualität, nicht auf reiner Trefferanzahl.
Context Precision — ausführlicher erklärt
Context Precision bewertet, ob die abgerufenen Kontext-Chunks in der richtigen Reihenfolge geliefert werden. Konkret: stehen die für die Antwort tatsächlich nützlichen Chunks vorne, oder verstecken sich die guten Treffer auf Position 5 hinter Rauschen? Das ist wichtig, weil das LLM in der Generierung von oben nach unten priorisiert und das Kontextfenster begrenzt ist. Berechnet wird die Metrik üblicherweise als positions-gewichteter Mittelwert: ein relevanter Treffer auf Platz 1 zählt voll, derselbe Treffer auf Platz 5 weniger.
Beispiel / Praxisbezug
Top-3-Treffer einer Anfrage: Chunk A (relevant), Chunk B (irrelevant), Chunk C (relevant). Score liegt unter 1, weil ein irrelevanter Chunk vor einem relevanten kommt. Optimum: alle relevanten Chunks vor allen irrelevanten. Praktisch nutzt man die Metrik, um Reranker-Qualität zu vergleichen — ein guter Cross-Encoder-Reranker hebt die Context Precision deutlich, ohne Recall zu verschlechtern. RAGAS und DeepEval implementieren beide eine LLM-Judge-Variante.
Abgrenzung zu ähnlichen Begriffen
Context Precision ist die Ordnungs-Metrik des Retrievers; Context Recall ist die Vollständigkeits-Metrik (sind alle relevanten Fakten unter den Treffern?). Beide zusammen verhindern Gaming: nur Recall optimieren führt zu riesigen Top-50-Fenstern voller Rauschen, nur Precision optimieren führt zu wenigen, aber unvollständigen Treffern. Faithfulness und Answer Relevancy decken die Generierungs-Qualität ab — diese vier zusammen sind das Standard-Quartett der RAG-Evaluation.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarRecall
Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.
LexikonLLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.