Was eine Vektordatenbank tut

Eine Vektordatenbank findet zu einer Liste von Zahlen die anderen Listen, die ungefähr in dieselbe Richtung zeigen. Diese Listen sind Embeddings, also Textabschnitte, übersetzt in ein paar hundert oder tausend Koordinaten und so angeordnet, dass inhaltlich Verwandtes nah beieinander liegt. Die Datenbank speichert sie und beantwortet diese Nachbarschaftsfrage schnell.

Die Suche rechnet nur ungefähr, weil der Vergleich der Anfrage mit jedem Vektor im Bestand exakt, aber langsam wäre. Produktive Systeme nutzen stattdessen einen Näherungsindex (Approximate Nearest Neighbour): HNSW baut einen navigierbaren Graphen durch die Vektoren, IVFFlat sortiert sie in Zellen und durchsucht nur die nächstgelegenen. Beide tauschen Korrektheit gegen Tempo, antworten in Millisekunden und übersehen dabei stillschweigend einige gute Treffer. Über einen Parameter stellen Sie ein, wie viel Suchaufwand der Index dafür treibt.

Ihr Suchindex ist verlustbehaftet, und er sagt Ihnen nie, was er verloren hat. Der Index meldet keinen Fehler, wenn er den Abschnitt mit der Antwort nicht besucht und dieser in den besten 50 fehlt, obwohl er exakt gerechnet weit vorn läge. Das Modell bekommt einen plausiblen Kontext und formuliert daraus eine flüssige Antwort. Die Vektorsuche liefert dann schlechtere Ergebnisse, ohne auszufallen.

Meistens genügt pgvector

pgvector erweitert PostgreSQL um eine Vektorspalte, die üblichen Distanzfunktionen und HNSW-Indizes. All das liegt in der Datenbank, in der die Zeile zum Textabschnitt ohnehin steht, mit Transaktionen, Backups, Rollen und einem Monitoring, das Ihr Team kennt. Für die meisten Bestände ist das die richtige technische Entscheidung und kein Kompromiss.

Rechnen Sie nach, bevor Sie einkaufen, denn die Anbieter schreiben ihre Sizing-Seiten für eine andere Größenordnung als Ihre. Ein Vektor mit 1024 Dimensionen in float32 belegt rund 4 KB, eine Million Abschnitte also etwa 4 GB reine Vektordaten plus Overhead für den Graphen. Eine Million Abschnitte sind viel: Bei vielleicht zwanzig Abschnitten je Dokument entspricht das rund 50.000 Dokumenten, also jedem Angebot, Handbuch, Vertrag und jeder Richtlinie aus zehn Jahren. Das passt in den Arbeitsspeicher eines einzelnen, gewöhnlichen Servers.

Wenn ein Anbieter von „Skalierung“ spricht, meint er Milliarden Vektoren und tausende Anfragen pro Sekunde, weil nur dieses Problem ein verteiltes System rechtfertigt. Sie haben Millionen Vektoren und ein paar Anfragen pro Minute von Kolleginnen und Kollegen, die nebenbei anderes zu tun haben. Ich würde deshalb für 200.000 Abschnitte keinen selbst betriebenen Milvus-Cluster aufsetzen. Sie holen sich damit die Ausfallmodi eines verteilten Systems ins Haus, also Sharding, Rebalancing und Knotenbetrieb, für eine Last, die ein einzelner Postgres-Server nebenbei trägt.

Der Standardfall. Liegt der Bestand unter ein paar Millionen Abschnitten, bleibt die Anfragelast im menschlichen Maßstab und läuft Postgres ohnehin, dann nehmen Sie pgvector. Wer zuerst eine dedizierte Vektordatenbank auswählt und dann nach einer Begründung sucht, betreibt am Ende ein zusätzliches System ohne messbaren Gegenwert.

Drei Kriterien für die Auswahl

Drei Kriterien sprechen gegen diesen Standardfall, und nur eines davon betrifft die Größe.

Größe des Bestands

pgvector wird nach unserer Einschätzung im Bereich zweistelliger Millionen Vektoren mühsam. Das zeigt sich beim Aufbau des Index und am Speicherbedarf während eines Neuaufbaus, lange bevor die Abfragelatenz auffällt. Als Faustregel lohnt sich unter etwa fünf Millionen Abschnitten mit überschaubarer Parallelität kein Produktvergleich, weil Sie ein Problem optimieren würden, das Sie nicht haben. Bei fünfzig Millionen mit steigender Tendenz, etwa einem großen Dokumentenarchiv oder einem Produktkatalog über viele Märkte, lohnt sich ein spezialisierter Speicher.

Filter während der Suche

Dieses Kriterium entscheidet in der Praxis die meisten Auswahlen, und im ersten Termin spricht es fast niemand an.

Ein Regionalversicherer will einen Assistenten über Bedingungswerke und Schadenrichtlinien bauen. Keine Anfrage lautet dort „durchsuche alles“, jede lautet „durchsuche die Dokumente, die dieser Nutzer sehen darf, in dieser Sparte, gültig zum heutigen Stichtag“. Die Pipeline braucht also neben der Vektorsuche einen Metadatenfilter, und wo dieser Filter greift, entscheidet darüber, ob das System funktioniert.

NACHFILTERN — die naive Variante 1 Mio. Abschnitte ganzer Index Top 50 (ANN) nach Ähnlichkeit dann filtern Sparte, Stichtag ≈ 1 übrig Recall bricht ein VORFILTERN — was Sie wollen 1 Mio. Abschnitte ganzer Index erst filtern im Index selbst Top 50 (ANN) in der Teilmenge 50 gute Recall bleibt
Index, Filter und Anfrage sind dieselben, und die Reihenfolge entscheidet über die Antwort. Wer nach der Suche filtert, verliert bei einem selektiven Filter die meisten Treffer, ohne dass etwas einen Fehler meldet.

Holen Sie die besten 50 nach Ähnlichkeit und filtern danach im Anwendungscode, bleibt bei einem Filter, der 2 % des Bestands durchlässt, ungefähr ein brauchbarer Abschnitt von fünfzig übrig. Das Modell antwortet aus dieser einen mittelmäßigen Fundstelle im gewohnten Ton, und das System sieht aus, als funktioniere es. So liefert ein Assistent, der in der Demo alle beeindruckt hat, im Betrieb dünne und subtil falsche Antworten.

Dagegen hilft ein Filter, der während der Indexdurchquerung greift, sodass die Suche nur zulässige Vektoren besucht. Spezialisierte Speicher wie Qdrant oder Weaviate behandeln gefilterte Suche als Kernfunktion; Elasticsearch und OpenSearch erledigen sie als Erweiterung des Filterns, das sie seit jeher beherrschen. pgvector filtert bei Näherungsindizes erst nach dem Index-Scan. Seit Version 0.8.0 gleichen iterative Index-Scans das aus, indem sie weitersuchen, bis genug zulässige Treffer vorliegen. Prüfen Sie deshalb am eigenen Bestand, ob der Query-Planer Ihren Index wählt oder auf einen Scan zurückfällt und wie viele Treffer nach dem Filter übrig bleiben. Ist das Berechtigungsmodell eine harte Anforderung, und bei einem Versicherer ist es nicht verhandelbar, dann ist das Filterverhalten das Auswahlkriterium, vor Durchsatz und weit vor dem Markennamen.

Hybride Suche für exakte Zeichenketten

Semantische Suche schneidet bei exakten Zeichenketten schlecht ab. Ein Embedding bildet „DIN 933“, „4-2291-B“ oder „§ 34c“ auf eine vage Nachbarschaft ähnlich aussehender Zeichenfolgen ab, weil eine Teilenummer keine Bedeutung trägt, die es abbilden könnte. Ein Zulieferer, dessen Konstrukteure über Teilenummern suchen, kommt mit reiner Vektorsuche deshalb nicht aus.

Hybride Suche löst das. Stichwortsuche (BM25) und Vektorsuche laufen parallel, und Sie führen die Ranglisten zusammen. Das spricht für Postgres, das Volltextsuche seit Jahren mitbringt und beides in einer Abfrage gegen ein System erledigt, wobei die eingebaute Rangfolge ts_rank ist und echtes BM25 erst über eine Erweiterung kommt. Bei textlastigen Beständen spricht es ebenso für Elasticsearch oder OpenSearch, denn eine gereifte Stichwortmaschine, die Vektorsuche ergänzt hat, passt zu diesem Problem oft besser als eine Vektormaschine, die Stichwörter nachgerüstet hat. Welche Mischung Sie brauchen, ist eine Frage des Pipeline-Entwurfs und gehört geklärt, bevor jemand einen Vertrag unterschreibt.

Neuindizierung einplanen

Ein Vektorindex ist abgeleitete Datenhaltung und kein führendes System. Wer ihn wie eines behandelt, macht aus einer kleinen Entscheidung eine teure.

Vektoren aus einem Embedding-Modell sind im Raum eines anderen Modells bedeutungslos, und das wiegt schwerer als jede Benchmark-Tabelle. Ein praxistauglicher Migrationspfad fehlt, sodass Sie nach einem Modellwechsel jeden Abschnitt neu embedden. Sie werden wechseln, weil ein besseres oder günstigeres Modell erscheint oder, sehr viel häufiger, weil Sie Ihre Chunking-Strategie ändern, nachdem Sie gesehen haben, wie sich die Suche auf Ihren echten Dokumenten verhält. Neuindizierung gehört deshalb zum Alltag.

Die Frage an den Anbieter. Fragen Sie den Anbieter nicht nach der p99-Latenz, sondern danach, was passiert, wenn Sie vier Millionen Abschnitte neu embedden. Sie wollen in eine frische Collection bauen und atomar umschalten, und zwar aus Abschnittstexten und Metadaten, die in Ihrem eigenen, dauerhaften Speicher liegen. Führt die Antwort über ein Support-Ticket oder ein Wartungsfenster, das niemand genehmigen wird, spricht das gegen dieses Produkt.

Die Suchqualität entscheidet sich vor der Datenbank

Ob die richtige Stelle auffindbar ist, hängt davon ab, was eingelesen wurde, wie es geschnitten ist, ob die Metadaten den Import überlebt haben und ob zwischen Suche und Prompt ein Reranker sitzt. Die Datenbank führt die Suche nur aus und weiß nicht, ob die Antwort enthalten ist.

Ein Projekt scheitert selten an der falschen Vektordatenbank. Häufiger stockt es, weil die Abschnitte falsch geschnitten sind, weil die Berechtigungen nachträglich eingebaut wurden oder weil niemand den Index neu aufbauen kann, ohne ein Wochenende zu verlieren. Der Vektorspeicher gehört zudem zu den besser umkehrbaren Entscheidungen im Stack, denn Abschnitte, Embeddings und Metadaten sind portabel, und ein Wechsel kostet meist Tage und keinen Neubau. Diese Entscheidung braucht deshalb wenig Beratungszeit.

Wählen Sie also die Option, die Filter und hybride Suche beherrscht, die Ihr Team sichern und zurückspielen kann und die Sie jederzeit aus der Quelle neu aufbauen können. Die gesparte Zeit ist beim Chunking besser angelegt, denn der Zuschnitt der Abschnitte entscheidet mit, ob die Suche die richtige Stelle findet.