Begriff
Datasets (HF)
Datasets ist eine Open-Source-Python-Bibliothek von Hugging Face zum Laden, Verarbeiten und Teilen von Datensätzen für maschinelles Lernen. Sie nutzt Apache Arrow und Memory-Mapping, um auch sehr große Datenmengen effizient zu handhaben.
Datasets (HF) — ausführlich erklärt
Die Bibliothek datasets von Hugging Face bietet einen einheitlichen Zugang zu Datensätzen für das Training und die Evaluierung von KI-Modellen. Über den zentralen Aufruf load_dataset() lassen sich Datensätze direkt vom Hugging Face Hub oder aus lokalen Dateien (CSV, JSON, Parquet, Arrow) laden — ein einziger Befehl statt manuellem Download und Parsing.
Technischer Kern ist das Apache-Arrow-Format. Datensätze werden memory-mapped, also nur in den Speicher eingeblendet statt vollständig geladen. Diese Zero-Copy-Lesezugriffe erlauben es, Datensätze zu verarbeiten, die größer sind als der verfügbare Arbeitsspeicher. Zusätzlich gibt es einen Streaming-Modus: Im IterableDataset werden Daten erst beim Iterieren nachgeladen, sodass man ohne vollständigen Download sofort mit der Verarbeitung beginnen kann — wichtig bei Datensätzen im Terabyte-Bereich.
Über Methoden wie map, filter und train_test_split lassen sich Daten transformieren, ohne den Originaldatensatz im RAM zu duplizieren. Die Bibliothek ist eng mit den übrigen Hugging-Face-Werkzeugen verzahnt und liefert Daten typischerweise direkt für das Fine-Tuning mit Transformers.
Beispiel / Praxisbezug
Beim Fine-Tuning eines Modells lädt man mit load_dataset("imdb") einen fertigen Datensatz und ruft dataset.map(tokenize_function, batched=True) auf, um den Text mit einem Tokenizer in Token-IDs umzuwandeln. Das Ergebnis liegt als Arrow-Tabelle vor und wird direkt an den Trainer übergeben. Bei einem sehr großen Web-Korpus aktiviert man stattdessen streaming=True und iteriert über die Daten, ohne sie vorher komplett herunterzuladen.
Abgrenzung zu ähnlichen Begriffen
Datasets ist eine Bibliothek zur Datenverarbeitung — nicht zu verwechseln mit den einzelnen Datensätzen, die auf dem Hugging Face Hub gehostet werden; die Bibliothek lädt diese lediglich. Während Transformers die Modelle bereitstellt, liefert Datasets das Trainingsmaterial dafür. Anders als ein klassischer DataFrame in Pandas, der Daten vollständig im Arbeitsspeicher hält, setzt Datasets auf Memory-Mapping und kann so deutlich größere Mengen verarbeiten.
Entdecke mehr
Tokens sparen mit Claude: 6 Prinzipien, mit denen Experten doppelt so schnell arbeiten
Wie ich meine CLAUDE.md von Stilrichtlinie auf Token-Budget umgestellt habe — 6 Prinzipien für weniger Kosten, weniger Wartezeit und ehrlicheres Reporting.
GlossarAccelerate
Accelerate ist eine quelloffene Bibliothek von Hugging Face, die PyTorch-Trainingscode mit minimalen Änderungen auf beliebiger Hardware und in verteilten Setups lauffähig macht — inklusive Mixed Precision sowie FSDP- und DeepSpeed-Unterstützung.
LexikonHugging-Face-Ökosystem
Hub, Spaces und die Libraries Transformers, Datasets, Diffusers und Accelerate — wie alles zusammenhängt und wie der Weg vom Modell-Finden zum Deployment läuft.