Lösungen für
Bitte auswählen
Web-App testen
ki-orchestrierung

LLM-Routing und der LLM-Router

Redaktion ·

LLM-Routing heißt erst mal nur: Nicht jede Anfrage geht an dasselbe Modell. Ein kleiner Vorschalter — der Router — schaut sich an, was reinkommt, und entscheidet, welches Modell die Anfrage bearbeiten soll. Einfache Frage? Geht an ein günstiges, schnelles Modell. Knifflige Sache? Geht ans große, teure. Und genau da macht es klick: Du bezahlst nicht mehr für jede Banalität den Premium-Preis.

Warum es das überhaupt gibt

Die Modelle einer Familie liegen preislich oft weit auseinander. Ein kleines Modell kostet pro Million Token nur einen Bruchteil von dem, was das Spitzenmodell verlangt — der Unterschied liegt schnell beim 15- bis 60-Fachen. Wenn du jetzt jede einzelne Anfrage stur ans teuerste Modell schickst, verbrennst du Geld für Aufgaben, die ein kleineres Modell genauso gut lösen würde.

Die meisten Anfragen in einem echten Produkt sind nämlich gar nicht schwer. Eine kurze Umformulierung, eine simple Klassifikation, eine Standard-Antwort — das braucht keine Denkmaschine. Nur ein kleiner Teil der Anfragen ist wirklich anspruchsvoll. Der Router trennt genau diese beiden Gruppen, bevor überhaupt ein Cent ans große Modell fließt.

Wie ein Router entscheidet

Im Kern ist ein Router ein Klassifizierer. Er bekommt die Anfrage rein und schätzt, wie schwer sie ist — oder konkreter: ob das starke Modell hier spürbar besser wäre als das schwache. Liegt diese Wahrscheinlichkeit über einer von dir gesetzten Schwelle, geht die Anfrage ans starke Modell. Liegt sie darunter, reicht das günstige.

In der Praxis gibt es dafür drei gängige Wege:

  • Regel- und Keyword-Routing. Feste Regeln entscheiden anhand von Stichwörtern oder Mustern. Steht „Rechtsfrage” oder „Code-Review” drin, geht es ans starke Modell. Klingt grob, ist aber transparent und schnell.
  • Embedding-basiertes (semantisches) Routing. Die Anfrage wird in ein Embedding übersetzt — also in eine Zahlendarstellung ihrer Bedeutung — und mit hinterlegten Beispielpfaden verglichen. Der Pfad mit der größten Ähnlichkeit gewinnt. Das versteht auch Anfragen, die nicht wortgleich zu deinen Regeln passen.
  • LLM-basiertes Routing. Ein kleines Modell liest die Anfrage und entscheidet selbst, wohin sie soll. Flexibel, aber langsamer und teurer als die anderen beiden — deshalb oft nur als Rückfallebene.

Ein guter semantischer Router trifft seine Entscheidung in unter einer halben Sekunde. Das ist wichtig, denn jede Millisekunde, die der Router braucht, kommt ja noch oben drauf, bevor das eigentliche Modell überhaupt loslegt.

Was du damit sparst

Die Zahlen aus der Praxis sind ordentlich. Ein trainierter Router von RouteLLM hat rund 95 Prozent der Qualität des starken Modells gehalten und dabei nur etwa 14 bis 26 Prozent der Anfragen ans teure Modell durchgereicht. Unterm Strich waren das 75 bis 85 Prozent weniger Kosten, verglichen mit der Holzhammer-Methode „immer das Topmodell”.

Wo es heikel wird

Ein Router ist nur so gut wie seine Einschätzung. Klassifiziert er eine schwere Anfrage als leicht, landet sie beim schwachen Modell — und der Nutzer bekommt eine dünne, vielleicht falsche Antwort. Klassifiziert er eine leichte Anfrage als schwer, zahlst du unnötig den Premium-Preis. Beides passiert, und beides hat Folgen.

Besonders semantisches Routing kann danebenliegen, wenn Anfragen sprachlich ähnlich klingen, aber inhaltlich etwas ganz anderes wollen. Deshalb gehören zwei Dinge zu jedem ernsthaften Routing-Aufbau: eine Rückfallebene (kommt der Router ins Schwimmen, geht die Anfrage sicherheitshalber ans starke Modell) und laufendes Messen der Trefferquote. Routing ist nichts, das du einmal einstellst und dann vergisst — die Schwelle willst du an deinem echten Traffic nachjustieren.

Wenn du tiefer in die Modellauswahl willst, hilft der Eintrag zu KI-Modelle vergleichen, und für die Kostenseite KI-Pricing einfach erklärt.

FAQ

Was ist der Unterschied zwischen einem LLM-Router und Multi-Agent-Orchestrierung?
Ein Router wählt aus, welches einzelne Modell eine Anfrage bearbeitet — eine Entscheidung, ein Modell. Multi-Agent-Orchestrierung lässt mehrere Agenten zusammen an einer Aufgabe arbeiten und teilt sie auf. Routing ist also eine Auswahl-Frage, Orchestrierung eine Aufteilungs-Frage. Sie schließen sich nicht aus: Oft sitzt ein Router vor den einzelnen Agenten.
Brauche ich für ein eigenes Routing ein extra Modell?
Nicht zwingend. Regel- und Keyword-Routing kommen ganz ohne Modell aus. Semantisches Routing braucht nur ein günstiges Embedding-Modell, kein zweites Sprachmodell. Erst LLM-basiertes Routing setzt ein zusätzliches kleines Modell als Entscheider ein.
Wie viel kann ich realistisch sparen?
Das hängt stark davon ab, wie viele deiner Anfragen wirklich einfach sind. In gut dokumentierten Fällen lagen die Einsparungen bei 30 bis 85 Prozent gegenüber „immer das stärkste Modell". Je größer der Preisunterschied zwischen deinen Modellen und je höher der Anteil leichter Anfragen, desto mehr holst du raus.
Was passiert, wenn der Router falsch entscheidet?
Im schlechten Fall bekommt der Nutzer eine schwächere Antwort, weil eine schwere Anfrage fälschlich ans kleine Modell ging. Deshalb baut man eine Rückfallebene ein: Bei Unsicherheit oder schlechter Antwort wird automatisch ans starke Modell eskaliert. Dazu misst man die Trefferquote laufend und justiert die Schwelle nach.
Ist Routing für kleine Projekte überhaupt sinnvoll?
Bei wenig Traffic und durchgehend anspruchsvollen Anfragen lohnt der Aufwand oft nicht — dann nimmst du gleich das passende Modell. Sobald du aber viele Anfragen mit gemischter Schwierigkeit hast, fängt Routing an, sich spürbar zu rechnen.

Themenuebersicht

KI-OrchestrierungKeyword-Routing