MIT-Forscher verdoppeln das Tempo beim Training von Reasoning-Modellen
Eine Forschungsgruppe um Song Han am MIT hat zusammen mit NVIDIA und der ETH Zürich eine Methode veröffentlicht, die das Training von Reasoning-Modellen signifikant beschleunigt — ohne Genauigkeitsverlust. Im Paper Taming the Long-Tail (arXiv 2511.16665, ASPLOS 2026) zeigen die Autoren Speedups von 70 bis 210 Prozent gegenüber dem Stand der Technik. Die offizielle MIT-Pressemitteilung datiert vom 26. Februar 2026, das System läuft öffentlich unter dem Namen fastrl auf GitHub.
Was die Studie konkret zeigt
- 1,7- bis 3,1-fache Beschleunigung beim Reinforcement-Learning-Training von Reasoning-Modellen, je nach Modellgröße und Aufgabe.
- Keine Genauigkeitseinbuße — die trainierten Modelle erreichen identische Benchmark-Werte wie konventionell trainierte Vergleichsläufe.
- Kostenloses Nebenprodukt: Der parallel mittrainierte „Adaptive Drafter” lässt sich anschließend direkt für Speculative Decoding im Inferenz-Betrieb einsetzen.
- Code ist offen: Veröffentlicht unter github.com/mit-han-lab/fastrl.
Was vorher galt
Reasoning-Modelle wie DeepSeek-R1, o3 oder Claude-Reasoning-Varianten werden in der Regel mit Reinforcement Learning nachtrainiert. In jeder RL-Iteration generiert das Modell selbst Lösungswege („Rollouts”), die anschließend bewertet und für das Update verwendet werden. Das Problem dabei ist altbekannt im Feld: Die Rollout-Längen sind extrem ungleich verteilt. Wenige sehr lange Antworten (der „Long Tail”) dominieren die Laufzeit jedes Schritts. Während die kurzen Rollouts längst fertig sind, warten Hunderte GPUs auf die letzten paar langen — und stehen dabei real im Leerlauf.
Bisherige Antworten auf das Problem waren entweder hartes Truncation (Genauigkeitsverlust) oder zusätzliche Hardware-Investitionen (Kostenexplosion).
Was jetzt gilt
1. Der Adaptive Drafter trainiert in den Lücken. Hu, Yang, Guo und Han nutzen genau die Leerlaufzeit, in der die Mehrheit der GPUs auf den Long-Tail wartet. Sie schicken auf diese GPUs kontinuierlich ein leichtgewichtiges Drafter-Modell ins Mit-Training. Dieser Drafter lernt parallel, das Hauptmodell vorherzusagen — sein Training kostet im Wortsinn nichts, weil die GPU-Zeit ohnehin verfällt.
2. Speculative Decoding beschleunigt die nächsten Rollouts. Sobald der Drafter qualitativ gut genug ist, schaltet das System ihn als Speculative-Decoder vor das Hauptmodell. Der Drafter schlägt mehrere Token vorher vor, das Hauptmodell verifiziert in einem Pass. In Kombination mit einer Adaptive Rollout Engine, die vorab kompilierte CUDAGraphs für unterschiedliche Batch-Profile bereithält, schrumpft der Long-Tail messbar.
3. Keine Modell-Modifikation nötig. Das Verfahren ist orthogonal zum Trainings-Algorithmus: Wer GRPO, PPO oder eine eigene RL-Variante fährt, kann TLT/fastrl als Drop-in einbauen. Der gemessene End-to-End-Speedup auf Qwen-Modellen liegt bei 1,7× im konservativsten Setup und steigt bis 3,1× in Konfigurationen mit besonders ausgeprägtem Long-Tail.
Einordnung
Das Ergebnis ist aus zwei Gründen interessant — auch jenseits der reinen Trainings-Effizienz.
Erstens verschiebt es die Kostengleichung für Reasoning-Modelle. Heute liegt der Großteil der Trainingskosten bei der RL-Phase, nicht beim Pretraining. Wer hier 70 bis 210 Prozent einspart, kann pro Hardware-Budget deutlich mehr Iterationen laufen lassen — und das ist genau die Engstelle, an der sich kleine Forschungsgruppen und gut finanzierte Labs heute trennen.
Zweitens zeigt die Methode, wie eng Trainings- und Inferenz-Optimierung zusammenrücken: Der Drafter, der im Training ohnehin entsteht, wird zum produktiven Inference-Beschleuniger. Das ist effektiv ein doppelter Hebel auf identischer Hardware. Vergleichbare Ansätze in der Industrie laufen bislang als zwei getrennte Pipelines.
Was du jetzt tun kannst
Wenn du selbst Reasoning-Modelle trainierst: Schau dir das fastrl-Repo an und prüfe, ob deine RL-Pipeline kompatibel ist. Die Integration ist als Layer über bestehenden RL-Frameworks gedacht und sollte ohne Architekturänderungen lauffähig sein.
Wenn du Reasoning-Modelle nur als Konsument einsetzt: Beobachte, ob deine Anbieter (Anthropic, OpenAI, DeepSeek, Qwen) in den nächsten Monaten Inferenz-Latenz oder Token-Preise senken. Methoden wie diese fließen erfahrungsgemäß nach 6–12 Monaten in produktive Stacks ein und schlagen sich dort sichtbar nieder.
Wenn du Forschung verfolgst: Das Paper ist ein gutes Beispiel dafür, wie Hardware-bewusstes Training (CUDAGraphs, Memory-Layout, Idle-GPU-Nutzung) wieder zu einem zentralen Forschungsfeld wird — nach Jahren, in denen die Aufmerksamkeit fast ausschließlich auf Modell-Architektur und Datenqualität lag.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.