Was RAG leistet und was nicht

RAG steht für Retrieval-Augmented Generation. Das Modell antwortet aus Textstellen, die das System zur Laufzeit aus einem Dokumentenbestand heraussucht, und nicht aus dem, was es im Training gesehen hat. Die Quellen dürfen sich ändern, ohne dass jemand ein Modell neu trainiert, und jede Aussage zeigt auf eine Datei, an der man sie prüfen kann.

RAG macht das Modell nicht klüger. Steht die Antwort in keinem Dokument oder findet die Suche die Stelle nicht, hilft auch das beste Modell nicht weiter. Über die Qualität entscheiden deshalb überwiegend die Stufen vor dem Modellaufruf, und von ihnen handelt dieser Text.

Vorbereiten: einlesen, zerlegen, einbetten

Bevor jemand fragt, liest TippelPi die Dokumente ein (Text, Markdown, PDF, Word, Excel, E-Mail) und zerlegt sie in Abschnitte. Es fügt Absätze zusammen, bis 700 Zeichen erreicht sind, und trennt nie mitten im Satz. Zu jedem Abschnitt speichert es die Überschrift, unter der er steht. Für das Embedding-Modell setzt es Dokumenttitel und Überschrift vor den Abschnitt, weil ein Absatz unter „Belgien“ in einem Text über Kündigungsschutz keines der beiden Wörter enthält. Es speichert und zitiert den Abschnitt ohne diesen Vorspann.

VORBEREITEN — OFFLINE Dokumente Einlesen Zerlegen Einbetten Vektor + Volltext ANTWORTEN — ZUR ANFRAGEZEIT Frage Zwei Kanäle Fusion Schwelle + Prompt Antwort + Quellen
Die Pipeline von TippelPi: Das System liest Dokumente einmal ein, zerlegt sie und legt sie in zwei Indizes ab; jede Frage durchläuft beide Suchkanäle, die Rangfusion und die Schwelle, bevor der Prompt entsteht.

Die 700 Zeichen sind mit Absicht knapp. Auf dem Pi schreibt das Modell wenige Token pro Sekunde und muss jeden mitgegebenen Abschnitt erst lesen. Vier kurze Abschnitte erlauben deshalb eine Antwort in vertretbarer Zeit, vier lange nicht. Dafür geht Kontext verloren, denn eine Tabelle oder eine lange Aufzählung zerfällt in mehrere Abschnitte, von denen die Suche vielleicht nur einen findet. Die Abwägung beschreibt Chunking-Strategien für RAG.

Jeder Abschnitt geht danach in zwei Indizes. Das Embedding-Modell multilingual-e5-small rechnet ihn in einen Vektor um, den eine lokale Vektordatenbank ablegt, und ein Volltextindex auf SQLite FTS5 nimmt denselben Text auf. Das System speichert dazu die Quelldatei, die laufende Nummer des Abschnitts und die Gruppen, die ihn lesen dürfen.

Wir tauschten das Embedding-Modell nach einem Vergleich auf 74 deutschen Fragen (31 direkt gestellt, 25 umformuliert, 18 themenfremd). Das zuvor eingesetzte englische Modell setzte bei umformulierten Fragen den richtigen Abschnitt nur in 72 % der Fälle unter die ersten drei, das mehrsprachige in 92 %. Das englische Modell trennte außerdem themenfremde Fragen bei keiner Schwelle von beantwortbaren.

Zwei Suchkanäle, nach Rang verschmolzen

Die Vektorsuche findet Abschnitte, die dasselbe meinen wie die Frage, auch wenn kein Wort übereinstimmt. Sie übersieht aber leicht den Abschnitt, in dem eine Artikelnummer, ein Paragraf oder ein Eigenname wörtlich steht, weil solche Zeichenfolgen im Vektorraum kaum Bedeutung tragen. Die Volltextsuche verhält sich umgekehrt. TippelPi fragt deshalb beide Kanäle und verschmilzt die Trefferlisten per Reciprocal Rank Fusion:

pipeline.py
def _rrf_fuse(dense, lex, top_k, k=60):
    scores, by_key = {}, {}
    for rank, h in enumerate(dense):
        scores[h["id"]] = scores.get(h["id"], 0.0) + 1.0 / (k + rank + 1)
        by_key[h["id"]] = h
    for rank, h in enumerate(lex):
        scores[h["id"]] = scores.get(h["id"], 0.0) + 1.0 / (k + rank + 1)
        by_key.setdefault(h["id"], h)
    fused = sorted(by_key.values(), key=lambda h: -scores[h["id"]])
    return fused[:top_k]

Der Ausschnitt lässt gegenüber dem Original den Ersatzschlüssel für Abschnitte ohne Kennung weg. Die Funktion rechnet nur mit Rangplätzen, weil Kosinus-Abstand und BM25-Wert auf verschiedenen Skalen liegen und sich nicht sinnvoll addieren lassen, ihre Ränge dagegen schon. Ein Abschnitt, den beide Kanäle finden, erhält zwei Summanden und rückt nach oben. Wir wollen das so, denn zwei unabhängige Suchen, die denselben Abschnitt finden, liefern das stärkste Signal dieser Pipeline. Die Konstante 60 dämpft den Abstand zwischen den vordersten Plätzen, damit ein erster Platz in einem Kanal nicht jeden doppelten Treffer überstimmt.

Die Schwelle: lieber kein Abschnitt als ein schwacher

Eine Vektorsuche liefert immer Treffer. Enthält der Bestand nichts zur Frage, gibt sie die am wenigsten unpassenden Abschnitte zurück. Erhält das Modell diese Abschnitte, formuliert es daraus eine Antwort und versieht sie mit einer Quellenangabe, die echt aussieht.

TippelPi verwirft deshalb in beiden Kanälen jeden Treffer, dessen Kosinus-Abstand zur Frage über 0,18 liegt; auch ein Volltexttreffer muss diese Schwelle nehmen. In einer früheren Fassung genügte einem Volltexttreffer ein gemeinsames Wort mit der Frage, sodass das System nie ablehnen konnte. Wir stellten den Wert für dieses Embedding-Modell auf einem Teil der Testfragen ein und bestätigten ihn auf dem zurückgehaltenen Rest. Dort stand der richtige Abschnitt bei direkt gestellten Fragen immer unter den ersten drei und bei umformulierten in 92 % der Fälle; das System lehnte 93 % der themenfremden Fragen ab und keine beantwortbare. Schon ein Zuschlag von 0,04 für Volltexttreffer senkte die Ablehnungsquote in der Messung auf dem ganzen Fragensatz von 89 auf 44 %. Liegt der beste Treffer oberhalb von 90 % der Schwelle, weist die Antwort darauf hin, dass die Dokumente die Frage nur teilweise abdecken. Der Prompt nimmt höchstens vier Abschnitte auf.

Ablehnen, ohne das Modell zu fragen

Liefert danach keiner der beiden Kanäle einen Abschnitt, sucht das System ein zweites Mal mit einer anders gebauten Anfrage. Bleibt auch dieser Durchlauf leer, gibt der Server einen festen Ablehnungssatz zurück und ruft das Modell nicht auf. Der Code trifft diese Entscheidung und nicht der Prompt, denn ein Modell, das nie gefragt wird, kann keine Antwort erfinden.

Der Prompt wiederholt die Regel für den Fall, dass Abschnitte vorliegen, die Antwort aber nicht in ihnen steht. Er verlangt außerdem, dass jede Aussage eine Quelle trägt, dass eine teilweise beantwortbare Frage den fehlenden Teil ausdrücklich nennt und dass zwei Abschnitte, die einander widersprechen, beide mit ihrer Quelle erscheinen. Auf diese zweite Schicht verlassen wir uns weniger als auf die erste, weil ein Modell eine Anweisung befolgen kann und ein Server sie befolgen muss. Mehr dazu steht in LLM-Halluzinationen.

Folgefragen: die Rohfrage sucht zuerst

Eine Folgefrage wie „und die Kurzversion?“ ergibt allein keinen Sinn, weshalb man den Gesprächsverlauf üblicherweise zu einer Suchanfrage verdichtet. Im Test lenkte diese Verdichtung die Suche auf das alte Thema. Auf drei Fragen zu Firewalls folgte eine zu Docker, und die verdichtete Anfrage traf ausschließlich Firewall-Abschnitte, während die Rohfrage allein getroffen hätte.

Seitdem sucht die Rohfrage zuerst. Füllt sie alle vier Plätze, stellt das System die verdichtete Anfrage nicht. Bleiben Plätze frei, bei einer reinen Folgefrage also alle, füllt die verdichtete Anfrage nur diese.

Rechte am Abschnitt, in beiden Kanälen

Jeder Abschnitt trägt die Gruppen, die ihn lesen dürfen. Der Vektorindex filtert danach in der Abfrage selbst. Die Volltextsuche kennt diesen Filter nicht und braucht denselben Abgleich ein zweites Mal, sonst entsteht ein Leck, das kein Test der Vektorsuche aufdeckt. Wir prüften das am 10. Oktober 2026 mit 1.200 Anfragen, bei denen ein gesperrter Abschnitt selbst die Frage war: je 200 Abschnitte aus drei Gruppen, gefragt von den beiden anderen. Auf dem Testkorpus kam kein gesperrter Abschnitt durch, und ohne Filter fand die Suche das Quelldokument in allen 600 Kontrollfällen. Die Zahlen stehen auch auf der Projektseite.

Was die Antworten taugen

Wir maßen auch die Antworten, auf 127 Fragen: 77 beantwortbare mit geprüfter Referenz, 28 themenfremde und 22, die nach Firmenwissen fragen, das in den Dokumenten nicht steht. Mit Qwen3-8B auf einem GPU-Server waren 82 % der Antworten vollständig korrekt und 90 % vollständig durch die Abschnitte gedeckt. Das System lehnte alle themenfremden Fragen ab, 89 % davon ohne Modellaufruf, und von den firmennahen 95 %. Mehr Abschnitte im Prompt erhöhten die Korrektheit etwas und verdoppelten die erfundenen Antworten auf firmennahe Fragen, weshalb es bei vier bleibt.

Grenzen

Ein Reranker ist vorgesehen, aber abgeschaltet, weil das mehrsprachige Modell dafür gut ein Gigabyte belegt und auf dem Pi Sekunden pro Frage kostet. Die Antwortqualität maßen wir auf einem GPU-Server und nicht auf dem Pi, und ein zweites, größeres Modell bewertete sie, kein Mensch; Unterschiede von ein bis drei Fragen liegen im Rauschen. Die Schwelle von 0,18 gilt für dieses Embedding-Modell, und wer das Modell wechselt, muss sie neu bestimmen. Umformulierte Fragen bleiben die schwächste Stelle, denn in 8 % der Fälle steht der richtige Abschnitt nicht unter den ersten drei. Das erste Einbetten schafft auf dem Pi rund 6,4 Abschnitte pro Sekunde, sodass 10.000 Dokumente einmalig etwa vier Stunden brauchen.