Begriff
Adapter (PEFT)
Ein Adapter ist ein kleines, neu hinzugefügtes Netzwerk-Modul, das in ein eingefrorenes Sprachmodell injiziert wird — nur diese Module werden trainiert, das Basis-Modell selbst bleibt unverändert.
Adapter — ausführlicher erklärt
Das ursprüngliche Adapter-Paper (Houlsby et al., 2019) führte das Prinzip ein, das heute die gesamte PEFT-Familie prägt: zwischen die Schichten eines vortrainierten Modells werden kleine Bottleneck-MLPs eingefügt — eine Down-Projection auf wenige Dimensionen, eine Aktivierung, eine Up-Projection. Im Training werden die ursprünglichen Modellgewichte eingefroren, nur die Adapter-Parameter werden gelernt. Daraus entstehen wenige Megabyte an trainierten Gewichten pro Adapter. Mehrere Adapter können auf demselben Basis-Modell parallel betrieben werden — pro Use-Case einer, ladbar zur Laufzeit. LoRA, IA3 und Prefix Tuning sind moderne Weiterentwicklungen oder Varianten dieses Grundgedankens.
Beispiel / Praxisbezug
Praktisches Beispiel: ein Llama-Basis-Modell wird in der Cloud betrieben, drei verschiedene Geschäftsbereiche eines Unternehmens — Marketing, Support, Recht — bekommen je einen eigenen Adapter. Beim Inferenz-Aufruf wird der zuständige Adapter ausgewählt und an das Basis-Modell angedockt. Ergebnis: ein einzelner GPU-Cluster, drei spezialisierte Modelle, ohne dass jeweils ein vollständiges 70B-Modell-Replikat im Speicher liegen müsste. Die Hugging-Face-Library peft und Inferenz-Server wie vLLM unterstützen genau dieses Multi-Adapter-Setup nativ.
Abgrenzung zu ähnlichen Begriffen
LoRA ist heute die populärste Adapter-Variante: statt Bottleneck-MLPs injiziert sie niedrigrangige Matrizen direkt in die Aufmerksamkeits-Gewichte. Klassische Houlsby-Adapter erhöhen die Inferenz-Latenz leicht, weil sie zusätzliche Layer hinzufügen — LoRA-Adapter lassen sich nach dem Training in das Basis-Modell mergen, ohne Latenz-Aufschlag. PEFT ist der Oberbegriff für alle diese Ansätze. Im Sprachgebrauch wird „Adapter” heute oft als Synonym für „LoRA-Adapter” verwendet.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarDPO (Direct Preference Optimization)
DPO ist ein Fine-Tuning-Verfahren, das Sprachmodelle direkt an menschlichen Präferenzpaaren ausrichtet — ohne separates Reward-Modell und ohne Reinforcement Learning.
LexikonFine-Tuning einfach erklärt — wann, wie, womit
Wann Fine-Tuning sich lohnt, welche Verfahren es gibt (SFT, DPO, LoRA, QLoRA), und was AMD- bzw. NVIDIA-Hardware in der Praxis voneinander unterscheidet.