Begriff
Chunking
Chunking ist das Zerlegen längerer Texte in kleinere, eigenständig sinnvolle Abschnitte — der erste Schritt jeder RAG-Pipeline, weil Embeddings und Retrieval auf Stück-Ebene arbeiten.
Chunking — ausführlicher erklärt
Ein Embedding-Modell verdichtet einen Textabschnitt in einen einzigen Vektor. Ist der Abschnitt zu lang, mittelt das Modell über zu viele Themen — die semantische Aussagekraft verwässert. Ist er zu kurz, fehlt Kontext und Treffer werden zerrissen. Übliche Größen liegen bei 200–800 Tokens pro Chunk, mit einem Overlap von 10–20 %, damit Sätze, die genau an der Grenze liegen, nicht ihren Bezug verlieren. Die Wahl der Strategie — fester Token-Count, Satz-/Absatz-Grenzen, semantisches Chunking, hierarchisches Chunking — hat starken Einfluss auf die Retrieval-Qualität.
Beispiel / Praxisbezug
Eine technische Doku wird beim Indexieren in Abschnitte zerlegt: ein Chunk pro H2-Sektion, fallback auf festen Token-Count. Jeder Chunk bekommt Metadaten (Quelle, Heading-Pfad, Datum) und landet als Embedding in der Vektor-Datenbank. Bei der Suche werden meist 4–10 Chunks zurückgeliefert und vom LLM zusammengeführt. Tools wie LangChain und LlamaIndex bringen Standard-Splitter mit (RecursiveCharacterTextSplitter, MarkdownTextSplitter etc.).
Abgrenzung zu ähnlichen Begriffen
Chunking ist nicht Tokenisierung — die teilt einzelne Wörter in Sub-Token-Einheiten für das Modell. Chunking arbeitet eine Ebene höher und teilt ganze Dokumente in retrieval-taugliche Stücke. Mit Contextual Retrieval bekommt jedes Stück zusätzlich einen vom LLM erzeugten Kontext-Satz, um die Verständlichkeit isolierter Chunks zu erhöhen.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarS-RAG
S-RAG (Search-optimized RAG) ist boostN.ais Variante von Retrieval-Augmented Generation, die klassisches RAG um Suchmaschinen-Prinzipien erweitert: Relevanz-Ranking, Decay nach Aktualität und getypte Verlinkung zwischen Chunks für deterministisches Nachladen.
LexikonRAG-Tuning und Balancing — Embeddings, Gewichte, Decay und MCP für Fortgeschrittene
Wie man Retrieval gezielt steuert: Embedding-Wahl, Hybrid-Gewichte, Reranker-Cascade, Time-Decay, Authority-Boost, MMR und MCP als Retrieval-Tool.