Lösungen für
Bitte auswählen
Web-App testen
ki-orchestrierung

Evaluator-Optimizer-Loop

Redaktion ·

Der Evaluator-Optimizer-Loop ist erst mal nur das: Du lässt einen KI-Agenten etwas erzeugen, und ein zweiter schaut drauf und sagt, was noch nicht passt. Dann geht es zurück an den ersten, der bessert nach. Und genau dieses Hin und Her läuft so lange im Kreis, bis das Ergebnis ein vorher festgelegtes Qualitätskriterium erfüllt.

Der erste Agent heißt Generator oder Optimizer — er produziert. Der zweite heißt Evaluator oder Kritiker — er bewertet. Im Englischen findest du das auch als “Reflection” oder “Self-Critique”. Gemeint ist immer dasselbe Muster: erzeugen, prüfen, nachbessern, wiederholen.

Warum überhaupt ein zweiter Agent?

Ein einzelnes Sprachmodell, das in einem Rutsch antwortet, hat keine zweite Chance. Es schreibt seinen Text und das war’s. Wenn die erste Version mittelmäßig ist, bleibt sie mittelmäßig.

Der Trick beim Evaluator-Optimizer-Loop ist, dass du die zwei Rollen bewusst trennst. Der Generator darf großzügig sein und einfach mal etwas hinwerfen. Der Evaluator darf skeptisch sein und genau hinschauen. Diese kleine Reibung — der eine baut, der andere meckert konstruktiv — bringt das Ergebnis oft über einen Punkt, an dem ein einzelner Durchlauf hängen geblieben wäre.

Es klingt nach Umstand, und für eine schnelle Antwort ist es das auch. Aber sobald es auf Qualität ankommt, macht es plötzlich richtig Sinn.

Wie der Loop konkret abläuft

Der Ablauf ist in jeder Variante derselbe:

  1. Erzeugen. Der Generator produziert eine erste Version — einen Text, ein Stück Code, eine Übersetzung.
  2. Bewerten. Der Evaluator prüft diese Version gegen klare Kriterien und schreibt sein Urteil auf: Was ist gut, was fehlt, was muss anders.
  3. Entscheiden. Erfüllt die Version das Kriterium? Dann ist Schluss. Wenn nicht, geht das Feedback zurück an den Generator.
  4. Nachbessern. Der Generator baut die Kritik ein und liefert eine neue Version. Zurück zu Schritt 2.

Wichtig ist, dass der Evaluator nicht nur “gut” oder “schlecht” sagt, sondern konkretes, umsetzbares Feedback gibt. Nur damit kann der Generator gezielt nachlegen. Ein vages “gefällt mir nicht” bringt den Loop nicht weiter.

Wann sich das Muster lohnt

Der Evaluator-Optimizer-Loop passt nicht überall. Er passt dort, wo zwei Dinge zusammenkommen:

  • Es gibt ein klares Kriterium, an dem man Qualität festmachen kann. Erfüllt der Code die Sicherheitsvorgaben? Trifft der Text den richtigen Ton? Stimmen die Fakten?
  • Eine zweite Runde verbessert das Ergebnis messbar. Wenn schon der erste Wurf reicht, sparst du dir den ganzen Aufwand.

Typische Fälle aus der Praxis: Code, der gegen Security-Standards laufen muss. Kundenkommunikation, bei der der Ton sitzen soll. Übersetzungen, bei denen feine Nuancen zählen. Überall da, wo ein Mensch sein Feedback klar in Worte fassen könnte — und das Modell genau dieses Feedback selbst liefern kann.

Verwandt ist das Ganze mit der Multi-Agent-Orchestrierung, bei der mehrere Agenten zusammenarbeiten. Der Evaluator-Optimizer-Loop ist davon eine der klarsten und nützlichsten Spielarten.

Die Abbruchbedingung — der wichtigste Teil

Ein Loop, der nicht aufhört, ist gefährlich. Deshalb gehört zu jedem Evaluator-Optimizer-Loop eine saubere Abbruchbedingung. In der Praxis nimmst du meistens mehrere gleichzeitig:

  • Qualität erreicht. Der Evaluator gibt grünes Licht — das ist der Idealfall.
  • Maximale Runden. Nach drei oder fünf Durchläufen ist Schluss, egal wie. Das schützt vor Endlosschleifen, wenn der Generator das Kriterium einfach nicht trifft.
  • Kein Fortschritt mehr. Wenn zwei Runden hintereinander kaum Verbesserung bringen, lohnt sich die nächste meist nicht.

Ohne diese Bremsen läuft der Loop im schlimmsten Fall ewig — und jede Runde kostet Tokens und damit Geld.

Der Preis: mehr Aufwand, mehr Kosten

Ehrlich gesagt ist der Evaluator-Optimizer-Loop teurer als ein einzelner Aufruf. Jede Runde bedeutet mindestens zwei Modell-Aufrufe — einen zum Erzeugen, einen zum Bewerten. Bei fünf Runden bist du schnell beim Zehnfachen an Tokens.

Das ist der Deal: Du tauschst Geschwindigkeit und Kosten gegen Qualität. Für eine Wegwerf-Antwort ist das Verschwendung. Für ein Ergebnis, das wirklich sitzen muss, ist es oft genau richtig.

FAQ

Was ist der Unterschied zwischen Generator und Evaluator?
Der Generator erzeugt den Inhalt — er schreibt, baut, produziert. Der Evaluator bewertet diesen Inhalt gegen feste Kriterien und gibt Feedback zurück. Es sind getrennte Rollen, oft sogar getrennte Modelle, damit der Bewerter eine wirklich unabhängige Perspektive hat.
Müssen Generator und Evaluator dasselbe Modell sein?
Nein. Häufig nimmt man sogar bewusst verschiedene Modelle, weil ein anderes Modell eine unabhängigere zweite Meinung liefert. Das kostet etwas mehr, sorgt aber für ehrlicheres Feedback, weil der Bewerter nicht dieselben blinden Flecken hat wie der Erzeuger.
Wann sollte ich diesen Loop NICHT verwenden?
Wenn es kein klares Qualitätskriterium gibt, an dem der Evaluator sich orientieren kann. Und wenn schon der erste Entwurf gut genug ist — dann ist der ganze Aufwand reine Verschwendung von Zeit und Tokens.
Wie verhindere ich, dass der Loop endlos läuft?
Mit einer festen Abbruchbedingung. In der Praxis kombinierst du am besten drei: Qualität erreicht, maximale Rundenzahl überschritten, oder kein nennenswerter Fortschritt mehr zwischen zwei Runden.
Ist Evaluator-Optimizer dasselbe wie Reflection?
Im Kern ja. „Reflection" und „Self-Critique" beschreiben dasselbe Grundmuster — eine KI prüft und verbessert ihre eigene Ausgabe iterativ. „Evaluator-Optimizer" betont dabei stärker, dass Bewerter und Erzeuger als zwei getrennte Rollen arbeiten.

Themenuebersicht

KI-OrchestrierungWorkflow-Automatisierung