Begriff
Pfadabhängigkeit (LLM-Output)
Pfadabhängigkeit beschreibt, wie bei der LLM-Generierung jeder früh erzeugte Token den weiteren Verlauf festlegt — der erste verbalisierte Fund lenkt die gesamte restliche Analyse in eine Richtung.
Pfadabhängigkeit — ausführlicher erklärt
Ein Sprachmodell erzeugt Text autoregressiv: Token für Token, jeder neue Token bedingt durch alle vorherigen. Genau daraus entsteht Pfadabhängigkeit. Sobald ein früher Schritt — teils zufällig durch das Sampling bestimmt — in eine bestimmte Richtung läuft, wird dieser Anfang Teil des Kontexts für alles, was danach kommt. Das Modell formuliert nicht „neutral aus der Vogelperspektive” weiter, sondern baut konsequent auf dem auf, was es selbst bereits geschrieben hat.
Konkret heißt das: Der erste Befund, den das Modell verbalisiert, wirkt wie eine Weiche. Hat es einmal angefangen, ein bestimmtes Problem zu beschreiben, verstärkt der eigene bisherige Output die Wahrscheinlichkeit, in derselben Spur weiterzulaufen. Andere mögliche Funde, die ein anderer Anfang ans Licht gebracht hätte, geraten aus dem Fokus. Der Output ist damit nicht nur eine Funktion der Eingabe, sondern auch des eigenen frühen Generierungsverlaufs — der „Pfad”, den die Generierung zufällig eingeschlagen hat.
Pfadabhängigkeit ist die Folgewirkung des Sampling-Zufalls, nicht der Zufall selbst. Der Zufall entscheidet, welcher erste Schritt gewählt wird; die Pfadabhängigkeit sorgt dafür, dass dieser eine Schritt überproportionale Wirkung auf das Gesamtergebnis hat.
Beispiel / Praxisbezug
Lässt man dasselbe Modell zweimal denselben Code analysieren, findet es oft unterschiedliche Dinge. Das wirkt zunächst widersprüchlich — der Code ist identisch, das Modell ist identisch. Die Erklärung ist Pfadabhängigkeit: Beim ersten Lauf nennt das Modell vielleicht zuerst ein Performance-Problem und arbeitet von dort weiter; beim zweiten Lauf fällt der erste Treffer auf eine Sicherheitslücke, und die gesamte folgende Analyse ordnet sich diesem Einstieg unter.
Praktisch bedeutet das: Die Reihenfolge der Funde verschiebt das Gesamtergebnis. Wer verlässlichere oder vollständigere Analysen will, lässt das Modell deshalb mehrfach laufen und führt die Ergebnisse zusammen, statt sich auf einen einzigen Durchlauf zu verlassen — oder strukturiert den Prompt so, dass das Modell zuerst breit sammelt, bevor es sich auf einen Fund festlegt.
Abgrenzung zu ähnlichen Begriffen
Reiner Sampling-Zufall (Temperature, Top-p) beschreibt nur, dass die Token-Auswahl probabilistisch ist — also dass überhaupt verschiedene Tokens gewählt werden können. Pfadabhängigkeit beschreibt die Konsequenz daraus: dass eine einzelne frühe Zufallsentscheidung den weiteren Verlauf überproportional prägt. Der Zufall ist die Ursache, die Pfadabhängigkeit der Verstärkungsmechanismus.
Auch Halluzination ist etwas anderes: Dort erzeugt das Modell faktisch Falsches. Bei Pfadabhängigkeit kann jeder einzelne Output korrekt sein — es ist die Auswahl und Reihenfolge, die zwischen zwei Läufen variiert, nicht die Wahrheit der einzelnen Aussage.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarReasoning Effort
Reasoning Effort ist ein Steuerparameter moderner Reasoning-Modelle, der festlegt, wie viel internes Schritt-für-Schritt-Denken (Thinking-Tokens) ein Modell vor der Antwort aufwendet — höhere Stufen erhöhen Qualität, aber auch Latenz und Kosten.
LexikonHalluzinationen bei LLMs — Ursachen und Gegenmittel
Warum LLMs selbstbewusst Falsches erfinden, welche Typen von Halluzinationen es gibt und welche Gegenmittel wirklich helfen — RAG, Quellenzwang, Verifikation.