On-Policy Distillation: 30-mal günstiger zum eigenen Reasoning-Modell

Redaktion · 9. Mai 2026 · 4 Min. Lesezeit

Thinking Machines Lab — das von Mira Murati gegründete Forschungslabor — hat im Oktober 2025 einen ausführlichen Bericht zu On-Policy Distillation veröffentlicht. Die Methode ist seitdem von Qwen3, MiMo und GLM-5 in deren Post-Training-Pipelines übernommen worden, und im April 2026 sind weitere arXiv-Folgepapers erschienen, die die Phänomenologie genauer untersuchen. Der praktische Befund: Reasoning-Fähigkeiten lassen sich für einen Bruchteil der bisherigen Kosten in kleinere Modelle übertragen.

Was die Methode konkret leistet

70 Prozent auf AIME’24 mit Qwen3-8B als Schüler-Modell — vergleichbar mit deutlich größeren reinen RL-Trainingsläufen.
30-fache Kostenreduktion gegenüber klassischer Off-Policy-Distillation auf identischer Hardware.
Kein Reward-Modell nötig: Statt sparse Outcome-Rewards liefert das Lehrer-Modell Token-für-Token-Log-Probs als dichtes Trainingssignal.
Industrie-Validierung: Qwen3, MiMo und GLM-5 nutzen das Verfahren produktiv in ihren Post-Training-Stages.

Was vorher galt

Wer ein kleineres Modell auf Reasoning-Niveau eines größeren bringen wollte, hatte bisher zwei Wege. Off-Policy-Distillation: Das große Modell erzeugt eine Trainings-Datensatz aus Beispiel-Antworten, das kleine Modell wird darauf supervidiert nachtrainiert. Schnell, aber das Schülermodell sieht nur Zustände, in die der Lehrer gerät — nicht seine eigenen. Sobald das Schülermodell in der Praxis von der Lehrer-Trajektorie abweicht, fehlen ihm die korrekten Schritte. Dieses Phänomen heißt Exposure Bias und ist seit Jahren ein bekanntes Problem.

Volles Reinforcement Learning: Das Schülermodell generiert eigene Antworten und wird per Reward-Signal (z. B. „richtig/falsch” auf Mathematik-Aufgaben) trainiert. Löst das Exposure-Bias-Problem, ist aber teuer — der Reward kommt nur einmal pro Antwort, das Trainingssignal ist dünn, die Konvergenz langsam.

Was jetzt gilt

1. Schüler generiert, Lehrer gibt Token-für-Token-Feedback. Bei On-Policy Distillation läuft das Schülermodell tatsächlich selbst los und produziert seine eigenen Rollouts. Statt am Ende ein binäres Reward-Signal zu erhalten, vergleicht das Verfahren jeden generierten Token mit der Wahrscheinlichkeitsverteilung, die das Lehrer-Modell für genau diesen Kontext gehabt hätte. Das Trainingssignal wird damit dramatisch dichter — pro Token statt pro Antwort.

2. Die Mathematik dahinter ist schlicht. Der Trainings-Loss ist die Kullback-Leibler-Divergenz zwischen Schüler- und Lehrer-Verteilung an jeder Position der Schüler-Rollouts. Kein Reward-Modell, kein PPO-Clipping, kein Reference-Model — nur ein Lehrer, der den Schüler an seiner eigenen Trajektorie korrigiert. Thinking Machines Lab nennt das selbst „cheap accuracy, real gains”.

3. Konkrete Zahlen. Mit Qwen3-8B als Schüler und einem stärkeren Modell als Lehrer erreicht das Verfahren 70 Prozent auf AIME’24 — einem Mathematik-Benchmark, der bislang als Lackmustest für ernstzunehmende Reasoning-Modelle galt. Die zur Erreichung dieses Niveaus nötige Trainings-Compute liegt bei etwa 1/30 dessen, was klassische Off-Policy-Distillation kostet.

Einordnung

Die Methode löst kein offenes theoretisches Problem — On-Policy-Trainingssignale sind in der RL-Literatur seit den 90ern bekannt. Was sie bedeutsam macht, ist die praktische Reichweite: Drei der relevantesten chinesischen Modell-Familien (Qwen3, MiMo, GLM-5) haben sie laut Folge-Analyse in ihre Post-Training-Pipelines übernommen, und der zugehörige Tinker-Cookbook-Code von Thinking Machines liegt als Recipe öffentlich vor.

Die Konsequenz für die nächsten Monate ist absehbar: Die Schwelle, ab der ein Lab oder eine kleine Firma sinnvoll eigene Reasoning-Modelle trainieren kann, sinkt sichtbar. Vor zwei Jahren brauchte das ein Cluster und sechsstellige Compute-Budgets. Heute reicht ein gutes Lehrer-Modell und etwa ein Dreißigstel der Compute, die für reines RL nötig wäre. Der Effekt zeigt sich bereits an der Geschwindigkeit, mit der Open-Weights-Reasoning-Modelle in den letzten sechs Monaten auf Hugging Face erschienen sind.

Wichtig für die Realeinschätzung: Die Methode ersetzt kein großes Pretraining und auch kein RL für völlig neue Fähigkeiten. Sie überträgt vorhandene Fähigkeiten effizient — und das ist für die meisten produktiven Use-Cases genau das, was gebraucht wird.

Was du jetzt tun kannst

Wenn du selbst ein Modell für eine Domäne fine-tunen willst: Schau dir On-Policy-Distillation als Alternative zu klassischem SFT an. Die Tinker-Cookbook-Distillation-Recipe (github.com/thinking-machines-lab/tinker-cookbook) ist ein guter Einstieg.

Wenn du einen Lehrer suchst: Stärkere Open-Weights-Modelle wie Qwen3 oder Llama-Reasoning-Varianten sind frei einsetzbar. Closed-Source-Modelle als Lehrer scheitern in der Regel daran, dass die nötigen Token-Log-Probs über die API nicht zugänglich sind.

Wenn du nur Konsument bist: Rechne damit, dass kleine Spezialmodelle (3B–8B Parameter) in den nächsten Monaten in Reasoning-Disziplinen Niveau erreichen, das vor einem Jahr nur 70B-Modellen möglich war. Das verschiebt die Wirtschaftlichkeit von Edge- und On-Premise-Deployments deutlich.

Entdecke mehr

Blog

Themenuebersicht

KI-Konzepte Training & Fine-Tuning