Begriff
Synthetic Data
Synthetic Data sind künstlich erzeugte Trainings- oder Testdaten — meist von einem Sprachmodell selbst generiert, um Datensätze zu erweitern, ohne reale Quellen zu benötigen.
Synthetic Data — ausführlicher erklärt
Synthetic Data ersetzen oder ergänzen reale Trainingsdaten durch maschinell erzeugte Beispiele. Im LLM-Umfeld liefert ein starkes Modell („Teacher”) gezielt Frage-Antwort-Paare, Code-Beispiele oder Dialoge, die dann in das Training oder Fine-Tuning eines kleineren Modells („Student”) fließen. Der Reiz: Daten lassen sich in Stunden statt Monaten skalieren, Datenschutz-Themen entschärfen sich, und Edge Cases können gezielt erzeugt werden — etwa seltene Sprachen, schwierige Reasoning-Pfade oder Sicherheits-Prompts.
Beispiel / Praxisbezug
Typischer Ablauf bei Distillation: Ein 400-Milliarden-Parameter-Modell beantwortet zehntausende komplexer Aufgaben, die Antworten werden gefiltert (Human-in-the-loop oder Auto-Eval), und das Resultat wird zum Trainingsmaterial für ein 7B-Modell. Auch im Post-Training für Instruction Tuning und RLHF werden Präferenz-Paare häufig synthetisch erzeugt. Open-Source-Familien wie Phi und Nemotron beruhen zu großen Teilen auf synthetisch generiertem Material.
Abgrenzung zu ähnlichen Begriffen
Synthetic Data ist nicht dasselbe wie Data Augmentation (mechanische Variation echter Daten) und nicht zu verwechseln mit Mock-Daten für Tests. Wichtig ist auch der Risikofaktor „Model Collapse”: Trainiert man Modelle wiederholt auf den eigenen Outputs, verarmt die Verteilung — Vielfalt und Faktentreue sinken. Praxis-Konsens 2026: synthetisch + kuratiert real, nicht nur synthetisch.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.