Begriff
Transformers (Library)
Open-Source-Python-Bibliothek von Hugging Face, die einen einheitlichen Zugriff auf tausende vortrainierte Modelle für Text, Bild und Audio bietet.
Transformers (Library) — ausführlicher erklärt
Die transformers-Library ist das De-facto-Standard-Toolkit, um vortrainierte Modelle aus dem Hugging Face Hub in Python zu laden und zu nutzen. Sie bietet eine einheitliche API über verschiedene Modellfamilien hinweg (BERT, GPT, Llama, Whisper, ViT, Stable Diffusion-Komponenten u. a.) und unterstützt sowohl PyTorch als auch TensorFlow und JAX als Backend.
Beispiel / Praxisbezug
Mit wenigen Zeilen Code lässt sich ein Modell für eine konkrete Aufgabe nutzen — die pipeline()-Funktion abstrahiert Tokenisierung, Inferenz und Postprocessing:
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier("I love open source.")Für mehr Kontrolle stehen AutoTokenizer und AutoModel zur Verfügung, die das jeweils passende Modul anhand des Modell-Namens auswählen. Die Library wird auch für Fine-Tuning eingesetzt, oft kombiniert mit accelerate für Multi-GPU-Training und peft für parametereffiziente Methoden wie LoRA.
Abgrenzung zu ähnlichen Begriffen
Die Transformers-Library ist nicht zu verwechseln mit der Transformer-Architektur selbst (das neuronale Netz aus dem Paper „Attention Is All You Need”). Im Gegensatz zu Inferenz-Engines wie llama.cpp oder vLLM zielt transformers auf Trainings- und Forschungsworkflows ab; für reine Produktions-Inferenz mit hohem Durchsatz sind die spezialisierten Engines effizienter.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarAccelerate
Accelerate ist eine quelloffene Bibliothek von Hugging Face, die PyTorch-Trainingscode mit minimalen Änderungen auf beliebiger Hardware und in verteilten Setups lauffähig macht — inklusive Mixed Precision sowie FSDP- und DeepSpeed-Unterstützung.
LexikonHugging-Face-Ökosystem
Hub, Spaces und die Libraries Transformers, Datasets, Diffusers und Accelerate — wie alles zusammenhängt und wie der Weg vom Modell-Finden zum Deployment läuft.