Begriff
Prefix Tuning
Prefix Tuning ist ein PEFT-Verfahren, bei dem nicht Modellgewichte, sondern eine Folge gelernter „virtueller Tokens" trainiert wird, die der Eingabe vorangestellt werden — das Basis-Modell bleibt eingefroren.
Prefix Tuning — ausführlicher erklärt
Vorgestellt 2021 von Li & Liang (Stanford), nutzt Prefix Tuning eine elegante Idee: statt Gewichte oder Adapter zu lernen, lernt man eine Sequenz von kontinuierlichen Vektoren, die in jeder Aufmerksamkeits-Schicht als Präfix der eigentlichen Eingabe wirken. Diese „Prefix-Tokens” sind keine echten Tokens aus dem Vokabular — es sind frei trainierbare Embeddings im Modell-Latent-Raum. Der Trainings-Footprint ist winzig (typischerweise unter 0,1 % der Modellparameter), und mehrere Prefixes lassen sich pro Use-Case parallel halten. Eine eng verwandte Variante ist Prompt Tuning (Lester et al., 2021), bei der nur am Eingabe-Layer ein gelernter Vektor-Prefix existiert — noch leichter, aber weniger ausdrucksstark.
Beispiel / Praxisbezug
Praktische Nische: wenn ein Modell für eine Vielzahl kleiner, leicht unterschiedlicher Aufgaben anpasst werden soll und der Speicherbedarf pro Aufgabe minimal sein muss. Klassisch genutzt für Multi-Task-Setups in Forschung und Production-Systemen mit dutzenden Tenants. In der Praxis hat LoRA Prefix Tuning weitgehend verdrängt — LoRA ist meist genauso effizient, dabei stabiler im Training und mergebar in das Basis-Modell.
Abgrenzung zu ähnlichen Begriffen
LoRA injiziert niedrigrangige Matrizen in die Aufmerksamkeits-Gewichte und ist heute der De-facto-Standard. Klassische Adapter fügen MLP-Module zwischen Layer ein. Prefix Tuning verändert weder Gewichte noch Architektur, sondern erweitert nur den Kontext um gelernte Vektoren. Prompt Tuning ist die minimale Variante davon — Prefix Tuning lernt Vektoren in jedem Layer, Prompt Tuning nur am Eingang.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.