Warum Chunking entscheidet, was Retrieval überhaupt finden kann

Ein Retriever gibt keine Passage zurück, die nicht als Chunk existiert. Embedding-Modell, Reranker, Prompt und das Modell selbst wählen deshalb nur aus dem, was das Chunking angelegt hat. Steht der eine Satz, der die Frage beantwortet, in einem Chunk, dessen übrige 700 Token von etwas anderem handeln, mittelt der Vektor dieses Chunks beide Themen und trifft keines von beiden genau.

Bei den meisten Unternehmenskorpora gewinnt deshalb die Strategie, die der Struktur des Dokuments folgt und die Chunk-Größe unangetastet lässt. Mit aufwendigen Verfahren gleichen Teams meist einen Parser aus, der diese Struktur zerstört hat, bevor der Chunker sie sah. Hinter einer Chunking-Debatte steckt daher häufiger ein Parsing-Problem als ein Chunking-Problem.

Chunking verlangt außerdem mehr Sorgfalt als ein gewöhnlicher Parameter, weil sich die Entscheidung schwer zurücknehmen lässt. Wer die Grenzen verschiebt, entwertet jeden Vektor im Index, embeddet den ganzen Korpus neu und wiederholt die Auswertung. Bei ein paar tausend Dokumenten kostet das einen Nachmittag, beim Handbucharchiv eines Maschinenbauers ein Batch-Fenster und eine Rechnung.

Kurzfassung. Schneiden Sie zuerst an den Grenzen, die der Autor gesetzt hat, also an Überschriften, Paragrafen und Abschnitten, und achten Sie erst danach auf die Größe. Nach fester Länge schneiden Sie nur, wenn ein Abschnitt zu lang bleibt oder ein Korpus keine Struktur hat.

Drei Chunking-Strategien, sortiert

Diskutiert werden drei Verfahren: feste Größe, semantisches und strukturbasiertes Splitting. Sie leisten nicht dasselbe, und das semantische bekommt weit mehr Aufmerksamkeit, als seine Ergebnisse rechtfertigen.

Feste Chunk-Größe: die Messlatte, die Sie schlagen müssen

Der Splitter schneidet alle N Token und legt etwas Overlap dazu. Verbreitet ist der RecursiveCharacterTextSplitter von LangChain, der in der Voreinstellung zuerst an Absätzen trennt, dann an Zeilenumbrüchen, dann an Leerzeichen und zuletzt an einzelnen Zeichen. Das Verfahren arbeitet deterministisch und schnell, kostet nichts und lässt sich leicht debuggen, weil die Frage „warum liegt dieser Chunk hier?“ immer eine lesbare Antwort hat. Zu Korpora ohne Struktur passt es, etwa zu Gesprächsmitschriften, Chat-Verläufen, Forenthreads und OCR aus handschriftlichen Werkstattnotizen. Seine Fehler fallen auf: Es trennt eine nummerierte Klausel von ihrer Nummer und zerschneidet eine Arbeitsanweisung zwischen Schritt 4 und Schritt 5.

Semantisches Chunking: womit ich nicht anfangen würde

Das Verfahren embeddet jeden Satz, misst den Abstand zum nächsten und schneidet, wo der Abstand springt. So findet es im Prinzip Themengrenzen, die keine Formatierung markiert. Bei typischen Unternehmenskorpora findet es in der Praxis überwiegend die Absatzgrenzen wieder, die das Dokument als Zeichen im Text kostenlos mitliefert. Dafür fällt beim Ingest ein Embedding-Aufruf pro Satz an, und über ein Archiv aus 900-Seiten-Handbüchern ergibt das eine Rechnung und ein Batch-Fenster.

Schwerer wiegt, dass die Grenzen vom Embedding-Modell abhängen und das Verfahren in diesem Sinn nicht deterministisch ist: Ein Modellwechsel formt unbemerkt den ganzen Index um. Wer eine schlechte Antwort untersucht, kann die Frage „warum beginnt dieser Chunk hier?“ dann nicht mehr beantworten. Das Verfahren passt zu langen, unstrukturierten Fließtexten, in denen Themen ohne Formatierungshinweis driften, etwa Interviewnotizen, und dafür würde ich es nicht ausschließen. Als Standard würde ich es nicht setzen, und nie, bevor ein Testset seinen Aufwand belegt.

Strukturbasiertes Splitting: das Skelett nutzen, das jemand schon gebaut hat

Dokumente, die für ein Unternehmen zählen, sind fast nie flacher Text. Ein Liefervertrag gliedert sich in nummerierte Paragrafen, eine Wartungsanleitung in Kapitel, Abschnitte und nummerierte Abläufe, und an der Klauselstruktur der Versicherungsbedingungen eines regionalen Versicherers haben Juristen lange gearbeitet. Jemand hat den Text also schon von Hand mit Überschriften semantisch segmentiert und das Ergebnis im Dokument hinterlegt. Wer an diesen Grenzen schneidet, übernimmt diese Arbeit, ob mit einem Markdown-Heading-Splitter, einem Durchlauf über die HTML-Überschriften oder der Gliederung einer DOCX.

Die Arbeit liegt deshalb vor dem Chunker, denn strukturbasiert chunken kann nur, wessen Parser die Struktur erhalten hat. Wandeln Sie die Dokumente in ein strukturiertes Zwischenformat wie Markdown oder HTML um, mit einem Werkzeug, das dafür gebaut ist: Docling, Unstructured oder Azure Document Intelligence. Wer stattdessen ein PDF nach Plaintext kippt, verliert die Gliederung im ersten Schritt und braucht danach semantisches Chunking, um zu rekonstruieren, was er weggeworfen hat.

Strukturbasiertes Chunking ist Chunking mit fester Größe, nur setzt der Autor die Grenzen und keine Modulo-Rechnung. Die beiden Verfahren konkurrieren deshalb nicht. Sie schneiden an der Struktur, und läuft ein Abschnitt danach noch über Ihre Obergrenze, schneiden Sie ihn nach Länge.

Hören Sie auf, eine Chunk-Größe zu wählen

Die Größendebatte um 300 oder 1.000 Token unterstellt, dass eine Zahl zwei Aufgaben erfüllen muss, die Gegensätzliches verlangen. Retrieval verlangt kleine Chunks, denn ein Embedding ist ein einzelner Vektor fester Länge und wird unschärfer, je mehr eigenständige Gedanken ein Chunk enthält. Die Generierung verlangt große Chunks, denn das Modell braucht die Definition zwei Absätze weiter oben und die Ausnahme im Satz darunter, sonst antwortet es überzeugt auf halber Faktenlage.

Sie müssen sich nicht entscheiden, weil der Chunk, den Sie finden, nicht der Chunk sein muss, den Sie übergeben. Indexieren Sie die kleine Einheit, speichern Sie einen Verweis auf ihren übergeordneten Abschnitt und weiten Sie einen Treffer auf diesen Elternabschnitt aus. LlamaIndex liefert das als Auto-Merging-Retrieval, LangChain als ParentDocumentRetriever (seit Version 1.0 im Paket langchain-classic). Wer eigenen Code der Abhängigkeit vorzieht, kommt mit wenigen Dutzend Zeilen aus.

1 · SCHNEIDEN 2 · INDEXIEREN & FINDEN 3 · ÜBERGEBEN Elternabschnitt Überschrift + Text + Tabelle Absatz-Chunk Treffer ✓ Absatz-Chunk Elternabschnitt ausgeweitet, voller Kontext klein suchen · groß antworten
Kleine Chunks treffen präzise, große Chunks antworten gut. Wer den Absatz indexiert, den Treffer findet und ihn vor der Generierung auf den Elternabschnitt ausweitet, löst den Zielkonflikt um die Größe weitgehend auf.

Das kostet Token, denn fünf kleine Treffer können sich zu drei Elternabschnitten ausweiten; deduplizieren Sie deshalb die Eltern und deckeln Sie das Kontextbudget. Dafür entfällt der Parameter, um den die Größendebatte geht, und meist verbessert keine andere einzelne Änderung ein mittelmäßiges RAG-System so verlässlich.

Overlap, Tabellen und die Zeile, die einen Chunk rettet

Overlap gilt mit 10 bis 20 Prozent als Standardeinstellung. Er überdeckt Grenzen, denen Sie nicht trauen, und kostet dafür Indexgröße und Plätze in den Top-k. Steht derselbe Satz auf Rang eins und Rang zwei, belegt ein einziger Gedanke zwei von fünf Plätzen im Kontext. Folgen die Grenzen der Struktur des Autors, darf der Overlap gegen null gehen. Ich behalte ein, zwei Sätze Nachlauf nur dort, wo ich einen langen Abschnitt ohnehin nach Länge schneiden musste.

Tabellen wiegen schwerer, weil der Fehler niemandem auffällt. Zerschneidet der Splitter eine Tabelle, landet die Kopfzeile im einen Chunk und die Zahlen im nächsten, und „4,5“ und „18“ kommen ohne Hinweis darauf an, dass sie ein Anzugsmoment in Nm und eine Schraubenanzahl bezeichnen. Für einen Zulieferer oder Maschinenbauer ist das kein Randfall, denn seine Dokumente tragen ihren Inhalt in den Tabellen und nicht im Fließtext. Drei Regeln haben sich bewährt. Trennen Sie eine Tabelle nie über Chunks hinweg. Ist sie zu groß, wiederholen Sie die Kopfzeile in jedem Teilstück. Geben Sie außerdem dem Chunk, den Sie embedden, eine einzeilige Klartext-Zusammenfassung des Tabelleninhalts mit, denn keine Frage sieht aus wie eine Zahlenzeile, und die Anfrage trifft auf diese Zusammenfassung.

In fast jeder Chunking-Pipeline bringt eine Zeile Code den höchsten Ertrag: Sie stellt dem Chunk-Text den Überschriftenpfad voran. Ein Chunk mit dem Satz „Die Frist beträgt vier Wochen“ sagt nicht, um welche Frist es geht, und ist deshalb unbrauchbar. Mit dem Präfix „Liefervertrag > §7 Gewährleistung > 7.2 Mängelrüge“ lässt er sich finden und zitieren. Der Pfad gehört in den Text, den Sie embedden, und nicht nur in ein Metadatenfeld daneben, weil das Embedding-Modell nur den Text sieht. Strukturierte Metadaten wie Quelle, Version, Datum, Seitenzahl und Zugriffsbereich dienen getrennt davon als Vorfilter vor der Vektorsuche und als Grundlage für Quellenangaben. Der Zugriffsbereich hält einen Chunk aus der Antwort für jemanden heraus, der das Dokument nicht sehen darf. Diese Seite der Pipeline behandelt RAG-Pipelines erklärt im Detail.

Was ich nicht tun würde. Ich würde keine einzelne Chunking-Konfiguration über einen gemischten Korpus legen. Die Bedingungswerke eines regionalen Versicherers, seine Schadenkorrespondenz und eine Tarif-Tabelle brauchen drei verschiedene Splitter: einen klauselbasierten, einen verlaufsbasierten und einen zeilenbasierten. Eine globale Chunk-Größe behandelt den Korpus als einheitlich, obwohl er es nicht ist, und die mittlere Einstellung passt am Ende zu keinem Dokument gut.

Wie Sie testen, welche Strategie an Ihren Dokumenten funktioniert

Alles bisher Gesagte ist eine Ausgangsvermutung und kein Urteil, denn über die Strategie entscheiden Ihre Dokumente. Die meisten Teams lesen dazu ein paar Antworten und befinden sie für gut. Das sagt nichts über das Chunking, weil die Antwort ebenso von Retrieval, Ranking, Prompt und Modell abhängt.

Isolieren Sie stattdessen das Chunking. Bauen Sie ein kleines Gold-Set aus 30 bis 50 echten Fragen und markieren Sie zu jeder die Passage, die die Antwort enthält; an dieser Markierung hängt der Wert des Sets. Messen Sie dann eine Zahl, nämlich wie oft die Passage mit der Antwort in den Top-k des Retrievers liegt. Recall@k fragt den Generator nichts und isoliert deshalb das Chunking. Ein Fehltreffer ist hier endgültig, weil kein Prompt und kein Modell zurückholt, was nie auftaucht. Lassen Sie Ihre Kandidaten gegen dasselbe Gold-Set laufen, dann entscheiden die Zahlen die Diskussion.

Zwei Dinge erschweren das. Die Fragen müssen von Menschen stammen, die das System nicht gebaut haben, also aus Support-Tickets, dem Suchlog und den Mails im Service. Fragen, die sich das Projektteam ausdenkt, sind systematisch zu wohlgeformt und übernehmen unbemerkt das Vokabular der Dokumente. Die Antwortpassagen markiert jemand, der die Unterlagen kennt, und das kostet eine Fachkraft einen Nachmittag und keinen Entwickler. Dieser Nachmittag ist der günstigste im ganzen Projekt, und fast alle lassen ihn aus. Wer Wochen in das Feintuning von Splittern steckt und keinen Tag in die fünfzig Fragen, erfährt nie, welcher Splitter bleiben soll.