Was eine Vektordatenbank tut
Eine Vektordatenbank findet zu einer Liste von Zahlen die anderen Listen, die ungefähr in dieselbe Richtung zeigen. Diese Listen sind Embeddings, also Textabschnitte, übersetzt in ein paar hundert oder tausend Koordinaten und so angeordnet, dass inhaltlich Verwandtes nah beieinander liegt. Die Datenbank speichert sie und beantwortet diese Nachbarschaftsfrage schnell.
Die Suche rechnet nur ungefähr, weil der Vergleich der Anfrage mit jedem Vektor im Bestand exakt, aber langsam wäre. Produktive Systeme nutzen stattdessen einen Näherungsindex (Approximate Nearest Neighbour): HNSW baut einen navigierbaren Graphen durch die Vektoren, IVFFlat sortiert sie in Zellen und durchsucht nur die nächstgelegenen. Beide tauschen Korrektheit gegen Tempo, antworten in Millisekunden und übersehen dabei stillschweigend einige gute Treffer. Über einen Parameter stellen Sie ein, wie viel Suchaufwand der Index dafür treibt.
Ihr Suchindex ist verlustbehaftet, und er sagt Ihnen nie, was er verloren hat. Der Index meldet keinen Fehler, wenn er den Abschnitt mit der Antwort nicht besucht und dieser in den besten 50 fehlt, obwohl er exakt gerechnet weit vorn läge. Das Modell bekommt einen plausiblen Kontext und formuliert daraus eine flüssige Antwort. Die Vektorsuche liefert dann schlechtere Ergebnisse, ohne auszufallen.
Meistens genügt pgvector
pgvector erweitert PostgreSQL um eine Vektorspalte, die üblichen Distanzfunktionen und HNSW-Indizes. All das liegt in der Datenbank, in der die Zeile zum Textabschnitt ohnehin steht, mit Transaktionen, Backups, Rollen und einem Monitoring, das Ihr Team kennt. Für die meisten Bestände ist das die richtige technische Entscheidung und kein Kompromiss.
Rechnen Sie nach, bevor Sie einkaufen, denn die Anbieter schreiben ihre Sizing-Seiten für eine andere Größenordnung als Ihre. Ein Vektor mit 1024 Dimensionen in float32 belegt rund 4 KB, eine Million Abschnitte also etwa 4 GB reine Vektordaten plus Overhead für den Graphen. Eine Million Abschnitte sind viel: Bei vielleicht zwanzig Abschnitten je Dokument entspricht das rund 50.000 Dokumenten, also jedem Angebot, Handbuch, Vertrag und jeder Richtlinie aus zehn Jahren. Das passt in den Arbeitsspeicher eines einzelnen, gewöhnlichen Servers.
Wenn ein Anbieter von „Skalierung“ spricht, meint er Milliarden Vektoren und tausende Anfragen pro Sekunde, weil nur dieses Problem ein verteiltes System rechtfertigt. Sie haben Millionen Vektoren und ein paar Anfragen pro Minute von Kolleginnen und Kollegen, die nebenbei anderes zu tun haben. Ich würde deshalb für 200.000 Abschnitte keinen selbst betriebenen Milvus-Cluster aufsetzen. Sie holen sich damit die Ausfallmodi eines verteilten Systems ins Haus, also Sharding, Rebalancing und Knotenbetrieb, für eine Last, die ein einzelner Postgres-Server nebenbei trägt.
Drei Kriterien für die Auswahl
Drei Kriterien sprechen gegen diesen Standardfall, und nur eines davon betrifft die Größe.
Größe des Bestands
pgvector wird nach unserer Einschätzung im Bereich zweistelliger Millionen Vektoren mühsam. Das zeigt sich beim Aufbau des Index und am Speicherbedarf während eines Neuaufbaus, lange bevor die Abfragelatenz auffällt. Als Faustregel lohnt sich unter etwa fünf Millionen Abschnitten mit überschaubarer Parallelität kein Produktvergleich, weil Sie ein Problem optimieren würden, das Sie nicht haben. Bei fünfzig Millionen mit steigender Tendenz, etwa einem großen Dokumentenarchiv oder einem Produktkatalog über viele Märkte, lohnt sich ein spezialisierter Speicher.
Filter während der Suche
Dieses Kriterium entscheidet in der Praxis die meisten Auswahlen, und im ersten Termin spricht es fast niemand an.
Ein Regionalversicherer will einen Assistenten über Bedingungswerke und Schadenrichtlinien bauen. Keine Anfrage lautet dort „durchsuche alles“, jede lautet „durchsuche die Dokumente, die dieser Nutzer sehen darf, in dieser Sparte, gültig zum heutigen Stichtag“. Die Pipeline braucht also neben der Vektorsuche einen Metadatenfilter, und wo dieser Filter greift, entscheidet darüber, ob das System funktioniert.
Holen Sie die besten 50 nach Ähnlichkeit und filtern danach im Anwendungscode, bleibt bei einem Filter, der 2 % des Bestands durchlässt, ungefähr ein brauchbarer Abschnitt von fünfzig übrig. Das Modell antwortet aus dieser einen mittelmäßigen Fundstelle im gewohnten Ton, und das System sieht aus, als funktioniere es. So liefert ein Assistent, der in der Demo alle beeindruckt hat, im Betrieb dünne und subtil falsche Antworten.
Dagegen hilft ein Filter, der während der Indexdurchquerung greift, sodass die Suche nur zulässige Vektoren besucht. Spezialisierte Speicher wie Qdrant oder Weaviate behandeln gefilterte Suche als Kernfunktion; Elasticsearch und OpenSearch erledigen sie als Erweiterung des Filterns, das sie seit jeher beherrschen. pgvector filtert bei Näherungsindizes erst nach dem Index-Scan. Seit Version 0.8.0 gleichen iterative Index-Scans das aus, indem sie weitersuchen, bis genug zulässige Treffer vorliegen. Prüfen Sie deshalb am eigenen Bestand, ob der Query-Planer Ihren Index wählt oder auf einen Scan zurückfällt und wie viele Treffer nach dem Filter übrig bleiben. Ist das Berechtigungsmodell eine harte Anforderung, und bei einem Versicherer ist es nicht verhandelbar, dann ist das Filterverhalten das Auswahlkriterium, vor Durchsatz und weit vor dem Markennamen.
Hybride Suche für exakte Zeichenketten
Semantische Suche schneidet bei exakten Zeichenketten schlecht ab. Ein Embedding bildet „DIN 933“, „4-2291-B“ oder „§ 34c“ auf eine vage Nachbarschaft ähnlich aussehender Zeichenfolgen ab, weil eine Teilenummer keine Bedeutung trägt, die es abbilden könnte. Ein Zulieferer, dessen Konstrukteure über Teilenummern suchen, kommt mit reiner Vektorsuche deshalb nicht aus.
Hybride Suche löst das. Stichwortsuche (BM25) und Vektorsuche laufen parallel, und Sie führen die Ranglisten zusammen. Das spricht für Postgres, das Volltextsuche seit Jahren mitbringt und beides in einer Abfrage gegen ein System erledigt, wobei die eingebaute Rangfolge ts_rank ist und echtes BM25 erst über eine Erweiterung kommt. Bei textlastigen Beständen spricht es ebenso für Elasticsearch oder OpenSearch, denn eine gereifte Stichwortmaschine, die Vektorsuche ergänzt hat, passt zu diesem Problem oft besser als eine Vektormaschine, die Stichwörter nachgerüstet hat. Welche Mischung Sie brauchen, ist eine Frage des Pipeline-Entwurfs und gehört geklärt, bevor jemand einen Vertrag unterschreibt.
Neuindizierung einplanen
Ein Vektorindex ist abgeleitete Datenhaltung und kein führendes System. Wer ihn wie eines behandelt, macht aus einer kleinen Entscheidung eine teure.
Vektoren aus einem Embedding-Modell sind im Raum eines anderen Modells bedeutungslos, und das wiegt schwerer als jede Benchmark-Tabelle. Ein praxistauglicher Migrationspfad fehlt, sodass Sie nach einem Modellwechsel jeden Abschnitt neu embedden. Sie werden wechseln, weil ein besseres oder günstigeres Modell erscheint oder, sehr viel häufiger, weil Sie Ihre Chunking-Strategie ändern, nachdem Sie gesehen haben, wie sich die Suche auf Ihren echten Dokumenten verhält. Neuindizierung gehört deshalb zum Alltag.
Die Suchqualität entscheidet sich vor der Datenbank
Ob die richtige Stelle auffindbar ist, hängt davon ab, was eingelesen wurde, wie es geschnitten ist, ob die Metadaten den Import überlebt haben und ob zwischen Suche und Prompt ein Reranker sitzt. Die Datenbank führt die Suche nur aus und weiß nicht, ob die Antwort enthalten ist.
Ein Projekt scheitert selten an der falschen Vektordatenbank. Häufiger stockt es, weil die Abschnitte falsch geschnitten sind, weil die Berechtigungen nachträglich eingebaut wurden oder weil niemand den Index neu aufbauen kann, ohne ein Wochenende zu verlieren. Der Vektorspeicher gehört zudem zu den besser umkehrbaren Entscheidungen im Stack, denn Abschnitte, Embeddings und Metadaten sind portabel, und ein Wechsel kostet meist Tage und keinen Neubau. Diese Entscheidung braucht deshalb wenig Beratungszeit.
Wählen Sie also die Option, die Filter und hybride Suche beherrscht, die Ihr Team sichern und zurückspielen kann und die Sie jederzeit aus der Quelle neu aufbauen können. Die gesparte Zeit ist beim Chunking besser angelegt, denn der Zuschnitt der Abschnitte entscheidet mit, ob die Suche die richtige Stelle findet.