Begriff
Continued Pretraining
Continued Pretraining ist das Weitertrainieren eines bereits vortrainierten Sprachmodells auf großen Mengen Domänen-Text — bevor klassisches Fine-Tuning beginnt.
Continued Pretraining — ausführlicher erklärt
Wenn ein Allzweck-LLM in einer engen Domäne (Recht, Medizin, Maschinenbau, eine wenig im Web vertretene Sprache) deutlich besser werden soll, reicht klassisches SFT mit ein paar tausend Frage-Antwort-Paaren oft nicht. Das Modell kennt die Fachbegriffe, Syntax und Konventionen schlicht zu wenig. Continued Pretraining (manchmal Domain-Adaptive Pretraining, DAPT) setzt eine Stufe früher an: das Basismodell wird mit demselben Trainingsverfahren wie im ursprünglichen Pretraining — Next-Token-Prediction auf rohem Text — auf einem großen Domänenkorpus weitertrainiert. Typische Datenmengen: hunderte Millionen bis Milliarden Tokens. Anschließend folgt SFT und ggf. Präferenz-Optimierung.
Beispiel / Praxisbezug
Klassische Anwendungsfälle: BloombergGPT (Finanzdomäne), Med-PaLM (Medizin), Code Llama (Code-spezifische Weiterbildung von Llama), oder spezialisierte deutschsprachige Modelle wie SauerkrautLM, die ein englisch-dominantes Basis-Modell auf großen deutschen Korpora nachschulen. Wer das selbst angehen will, braucht meist mehrere Hundert GB Domänen-Text und entsprechende GPU-Ressourcen — deutlich aufwändiger als SFT mit LoRA.
Abgrenzung zu ähnlichen Begriffen
Pretraining startet bei zufällig initialisierten Gewichten und dauert Wochen bis Monate auf vielen GPUs. Continued Pretraining nimmt ein bereits trainiertes Modell und schult es auf neuem Text nach — Stunden bis Tage, deutlich günstiger. SFT folgt danach mit überwachten Beispielen. Risiko bei Continued Pretraining: Catastrophic Forgetting — das Modell kann Allgemeinwissen oder Instruction-Following verlieren, wenn die Domänen-Daten zu eng oder das Training zu lang ist.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.