News
MIT-Forscher verdoppeln das Tempo beim Training von Reasoning-Modellen
Adaptive Drafter nutzt sonst leerlaufende GPUs während der RL-Trainingsphase und beschleunigt das Reasoning-Training um 70 bis 210 Prozent.
Training & Fine-Tuning
Verfahren zum Trainieren und Anpassen von Sprachmodellen.
News
On-Policy Distillation: 30-mal günstiger zum eigenen Reasoning-Modell
Thinking Machines Lab zeigt, wie kleine Modelle Reasoning lernen, ohne volles RL. Qwen3-8B erreicht 70 Prozent auf AIME'24 — bei 30-fach geringeren Kosten.
DPO (Direct Preference Optimization) Fine-Tuning LoRA PEFT (Parameter-Efficient Fine-Tuning) QLoRA RLHF SFT (Supervised Fine-Tuning) Synthetic Data Adapter (PEFT) Catastrophic Forgetting Continued Pretraining Instruction Tuning Knowledge Distillation ORPO (Odds Ratio Preference Optimization) Prefix Tuning
Verwandte Themen KI-Orchestrierung 11 KI-Werkzeuge 91 KI-Modelle 79 Arbeiten mit KI 36 GEO 1 Web Development 2