Die Faustregel und das bessere Kriterium

Ein einzelnes Dokument oder ein kleiner, für alle gleicher Satz von Dokumenten gehört direkt ins Kontextfenster, ohne Suchpipeline. Eine Suche brauchen Sie, wenn das Material groß ist, sich häufig ändert oder je nach Fragesteller anders aussieht. Diese Faustregel stimmt.

Begründet wird sie meist mit dem Satz „ein Kontextfenster mit einer Million Token fasst Ihre 40 GB SharePoint trotzdem nicht“. Als Kriterium taugt er am wenigsten, weil viele reale Bestände hineinpassen. Der komplette Servicehandbuchsatz eines Maschinenbauers liegt vielleicht bei 200.000 Token, die Versicherungsbedingungen einer Sparte bei 80.000. Beides passt, und jemand wird Ihnen raten, es vollständig in den Prompt zu legen.

Das bessere Kriterium fragt nach der Form statt nach der Menge: Ist der Anfang des Prompts bei jeder einzelnen Anfrage Byte für Byte identisch? Wenn ja, kostet langer Kontext oft wenig. Wenn nein, kostet er viel, und keine Fehlermeldung warnt Sie, weil Sie die Grenze des Kontextfensters nie erreichen.

Die Regel in einem Satz. Langer Kontext ist genau dann bezahlbar, wenn viele Anfragen denselben Prompt-Anfang wiederverwenden. Variiert dieser Anfang je Nutzer, je Mandant oder je Stunde, zahlen Sie bei jeder Anfrage den vollen Eingabepreis, und die Suchpipeline gewinnt allein über die Kosten.

Was ein langer Prompt tatsächlich kostet

Ein Long-Context-Ansatz schickt das Dokument bei jeder Frage erneut. Zehntausend Serviceanfragen gegen einen Handbuchsatz von 200.000 Token ergeben zwei Milliarden Eingabe-Token, nicht zweihunderttausend. Wer diese Rechnung überspringt, bemerkt nicht, dass die vermeintlich einfachere Architektur die teurere ist.

Prompt-Caching senkt die Kosten, solange der Anfang gleich bleibt

Alle großen Anbieter bieten inzwischen Prompt-Caching an, und erst damit rechnet sich langer Kontext, statt nur technisch möglich zu sein. Die Mechanik unterscheidet sich je Anbieter. Bei Anthropic kostet ein Cache-Lesezugriff je nach Modell ein Zehntel des normalen Eingabepreises oder weniger (Stand Oktober 2026), das Schreiben des Caches 1,25× (fünf Minuten Haltedauer) beziehungsweise 2× (eine Stunde). Mit dem Fünf-Minuten-Cache sind schon zwei Anfragen auf denselben Prompt-Anfang günstiger als zwei ungecachte, mit dem Stunden-Cache gilt das ab der dritten.

Im Servicebeispiel rechnet der Anbieter den Handbuchsatz dann nicht mehr zehntausendmal zum vollen Preis ab, sondern zu einem Zehntel oder weniger, zuzüglich eines erneuten Schreibvorgangs, sobald der Cache abgelaufen ist. Das senkt die Kosten um eine Größenordnung, und deshalb ist „das Handbuch einfach in den Prompt legen“ vom naiven zum vertretbaren Vorgehen geworden.

Die Bedingung steckt im Wort Anfang. Caching gleicht Präfixe ab, und der Schlüssel entsteht aus den exakten Bytes des Prompts von Position null bis zur Cache-Markierung. Ändert sich in diesem Bereich ein einziges Byte, wird alles danach ungültig, und Sie zahlen wieder den vollen Preis, ohne Fehler und ohne Warnung. Das zeigen nur die Nutzungsfelder der Antwort, in denen cache_read_input_tokens auf null fällt. Wer diese Felder nicht überwacht, bemerkt es erst auf der Rechnung.

Berechtigungen zerstören den Cache unbemerkt

Dieser Fehler fällt fast immer erst nachträglich auf. Der Prototyp legt sämtliche Dokumente in den Prompt, das Caching greift, und die Zahlen sehen gut aus. Dann fragt jemand vor dem Produktivbetrieb, ob ein Mitglied des Betriebsrats dieselben Unterlagen sehen darf wie ein Schichtleiter und ob die Niederlassung München die Verträge aus Hamburg sieht.

Also filtert das Team die Dokumente nach Nutzer, bevor es den Prompt zusammenbaut. Die Architektur bekommt nur einen Filterschritt mehr, die Kosten folgen danach aber einem anderen Modell. Jeder Nutzer hat jetzt einen eigenen Prompt-Anfang und damit einen eigenen Cache-Eintrag, und jeden dieser Einträge schreiben Sie erst zu 1,25×, bevor Sie ihn zu höchstens 0,1× lesen können. Bei ein paar hundert Nutzern mit je einer Handvoll Fragen laufen die meisten Einträge ab, bevor eine zweite Anfrage sie liest. Sie haben dann den Schreibaufschlag bezahlt und den Leserabatt nie erhalten.

Ein Suchindex kennt dieses Problem nicht, weil Berechtigungen dort Metadatenfilter auf der Anfrage sind und der teure Teil, das Einbetten und Indexieren, einmal offline für alle geschehen ist. Dieses Argument für RAG gilt bei jeder Größe des Kontextfensters, weil es nicht von Kapazität handelt.

Für alle dieselben Dokumente Handbuch, Produktkatalog → Ein gemeinsamer Anfang Cache-Treffer ab Anfrage zwei → ≤ 10 % des Eingabepreises langer Kontext ist bezahlbar Je Nutzer gefiltert Rollen, Standorte, Mandanten → Ein Anfang je Nutzer Cache wird selten warm → Voller Preis, jede Anfrage die Suche gewinnt bei Kosten
Dieselbe Architektur folgt zwei Kostenmodellen. Das Berechtigungskonzept bestimmt, welches davon gilt, und lässt sich deshalb nicht später ergänzen.

Der nutzbare Kontext ist kürzer als das beworbene Fenster

Über die Qualität sagt die beworbene Fenstergröße nichts. Ein Modell mit einem Kontextfenster von einer Million Token schließt nicht über die ganze Million gleich gut.

Drei Arbeiten belegen das. Liu et al. zeigten 2023 in Lost in the Middle, dass die Trefferquote am höchsten ist, wenn die relevante Stelle nahe am Anfang oder am Ende der Eingabe steht, und messbar abfällt, wenn sie in der Mitte liegt. NVIDIAs Benchmark RULER ergänzte Aufgaben mit mehrstufiger Verkettung und Aggregation und stellte fest, dass nur etwa die Hälfte der getesteten Modelle bei 32.000 Token noch eine brauchbare Qualität hält, obwohl alle mindestens diese Länge bewerben. Am schärfsten prüft NoLiMa von Adobe Research (ICML 2025): Der Benchmark entfernt die wörtliche Überschneidung zwischen Frage und gesuchter Stelle, sodass das Modell den Zusammenhang erschließen muss, statt den Wortlaut der Frage wiederzufinden. Unter dieser Bedingung fallen 11 von 13 getesteten Modellen schon bei 32.000 Token unter die Hälfte ihres Kurzkontext-Werts.

Warum die Demo besteht und der Produktivbetrieb nicht

Die NoLiMa-Bedingung erklärt einen typischen Fehlerverlauf. In der Demo stellt der Vorführende seine Fragen im Vokabular des Dokuments, weil er die Demo nach dem Lesen gebaut hat. Frage und Stelle überschneiden sich im Wortlaut, das Modell findet die Stelle, und alles wirkt gelöst. Im Betrieb tippt ein Servicetechniker „Anlage bleibt beim Nullpunktsuchen hängen“, und im Handbuch steht „Zeitüberschreitung Achsreferenzierung“. Frage und Fundstelle teilen kein Wort und liegen hundert Seiten auseinander. Das System, das in der Sitzung fehlerfrei antwortete, beginnt, plausibel klingende Antworten zu erfinden.

Eine Suchpipeline ist dagegen nicht immun. Ein Einbettungsmodell, das Ihr Fachvokabular nie gesehen hat, scheitert an derselben Frage, weshalb die Wahl der Textabschnitte und eine zusätzliche Stichwortsuche so viel ausmachen. Ein langes Kontextfenster beseitigt das Suchproblem aber nicht. Es verlagert die Suche ins Modell, wo Sie sie weder einsehen noch protokollieren noch mit einem Metadatenfilter reparieren können.

Testen Sie mit fremden Fragen. Bauen Sie Ihren Testsatz aus Fragen von Menschen, die die Quelldokumente nicht gelesen haben, also aus echten Tickets, E-Mails und Telefonnotizen. Ein Long-Context-System, das nur Fragen im Wortlaut des Dokuments besteht, ist nicht getestet.

Was ein Prompt nicht kann und ein Index schon

Unabhängig von Kosten und Qualität fehlen einem Prompt drei Dinge, und an ihnen entscheiden sich die meisten Projekte.

Aktualität. Ein Prompt besteht aus dem, was Ihr Code zum Zeitpunkt der Anfrage geladen hat. Hat sich heute Morgen eine Preisliste geändert, erkennt Ihr Zusammenbau das und liest die Datei neu ein, womit Sie eine kleine, unversionierte Datenübernahme geschrieben haben, oder Sie liefern die Preise von gestern aus. Ein Index hat einen definierten Aktualisierungsweg und einen definierten Zeitpunkt, ab dem neue Inhalte sichtbar sind.

Nachvollziehbarkeit. Wählt eine Suche fünf Textstellen aus, wissen Sie, welche fünf es sind, aus welchen Dokumenten sie stammen und wie die Suche sie bewertet hat. Sie können die Quelle anzeigen, die Auswahl protokollieren und Monate später rekonstruieren, warum das System so geantwortet hat. Legen Sie 200 Seiten in den Prompt, bleibt die Auswahl des Modells unsichtbar. „Stand irgendwo im Kontext“ ist kein Prüfnachweis und genügt niemandem, der eine Entscheidung im Nachhinein bewerten muss.

Löschen. Ein Dokument aus der Liste zu streichen, aus der Ihr Code den Prompt baut, ist trivial; es aus einer Vektordatenbank zu entfernen, ist schwerer, als es aussieht. Das spricht für den langen Kontext, aber nur, solange Sie keinen Index betreiben. Die meisten Systeme haben am Ende beides, und dann müssen Sie das Löschproblem ohnehin lösen.

Was ich baue und was nicht

In der Praxis funktioniert die Mischform, die großzügig sucht und großzügig übergibt. Holen Sie dreißig oder fünfzig Kandidaten statt der klassischen drei, denn das Fenster verträgt es. Suchen Sie aber weiterhin, damit die Auswahl explizit bleibt, sich nach Berechtigung filtern lässt und im Fehlerfall prüfbar ist. Das größere Kontextfenster erlaubt Ihnen eine weniger präzise Rangfolge, aber nicht, diesen Schritt wegzulassen. Es ist dieselbe Architektur, die ich unter RAG-Pipelines erklärt beschreibe, nur mit einem viel breiteren Trichter.

Die Suche lasse ich weg, wo ein Mensch den Umfang bereits auf ein Artefakt eingegrenzt hat: bei einem einzelnen Vertrag in der Prüfung, einem Ausschreibungsdokument, einem Störungsbericht oder einem Codemodul. Eine Suchpipeline würde dort einen Bestand von genau einem Dokument indexieren.

Ich würde langen Kontext nicht einsetzen, obwohl er funktionieren würde, wenn Zugriffsrechte vom Nutzer abhängen, wenn Quelldaten stündlich wechseln oder wenn Sie belegen müssen, aus welcher Quelle eine Antwort stammt. Die Prompt-Variante ist in diesen Fällen nicht einfacher; sie enthält dieselbe Komplexität an einer Stelle, an der Sie sie nicht sehen.

Alles Gesagte beschreibt Kosten und Verhalten der heutigen Modelle zu heutigen Preisen, und beides ändert sich. Zugriffsrechte, Aktualität und Nachvollziehbarkeit sind dagegen Eigenschaften Ihrer Daten und nicht des Modells, und daran ändert keine Länge eines Kontextfensters etwas.