Begriff
Catastrophic Forgetting
Catastrophic Forgetting bezeichnet den Effekt, dass ein neuronales Netz beim Training auf neuen Daten zuvor erlerntes Wissen ganz oder teilweise verliert — ein zentrales Problem beim Fine-Tuning von Sprachmodellen.
Catastrophic Forgetting — ausführlicher erklärt
Sprachmodelle speichern ihr Wissen verteilt über alle Gewichte. Wenn dieselben Gewichte mit neuen Trainingsdaten weiter optimiert werden, überschreiben Gradienten unweigerlich auch Information, die das Modell vorher gut konnte. Folge: ein Modell, das auf medizinischem Fachtext nachtrainiert wird, antwortet plötzlich schlechter auf Alltagsfragen oder verliert sogar Instruction-Following. Die Schwere hängt von Datenmenge, Lernrate, Trainings-Schritten und der Distanz zwischen Original- und neuen Daten ab. Der Begriff stammt ursprünglich aus der Forschung der 1990er zu klassischen neuronalen Netzen und ist im LLM-Zeitalter zentral, weil Continued Pretraining und Fine-Tuning darüber kippen können.
Beispiel / Praxisbezug
Typische Symptome in der Praxis: nach Fine-Tuning auf 10.000 Support-Tickets liefert das Modell den gewünschten Tonfall — beantwortet aber Mathe-Aufgaben deutlich schlechter als vor dem Training. Oder: ein deutsch-spezifisches Continued Pretraining verbessert deutschen Output, verschlechtert aber Code-Antworten. Gegenmaßnahmen: PEFT statt Full-Fine-Tuning (Adapter, LoRA — das Basis-Modell bleibt unangetastet), Replay (alte Daten dem neuen Trainingsset beimischen), niedrigere Lernraten, kürzere Trainings-Läufe, regelmäßige Evals auf einem breiten Benchmark-Set.
Abgrenzung zu ähnlichen Begriffen
Overfitting ist verwandt, aber anders gelagert: das Modell lernt die Trainingsdaten zu genau und generalisiert schlechter. Catastrophic Forgetting bezieht sich speziell auf Wissen aus früheren Trainingsphasen, das verschwindet. Continual Learning ist das Forschungsfeld, das beides adressiert — Methoden, die Modelle dauerhaft erweitern können, ohne Altes zu zerstören.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.