Was ein Embedding ist
Schicken Sie den Satz „Die Pumpe ist undicht“ durch ein Embedding-Modell, und es gibt eine Liste von Zahlen zurück, je nach Modell 384, 1.024 oder 3.072 Stück. Diese Liste ist das Embedding. Sie fasst den Satz nicht zusammen und komprimiert ihn nicht, und keine Stelle lässt sich lesen: Stelle 47 bedeutet nicht „mechanisch“, Stelle 300 nicht „dringend“. Wofür eine einzelne Zahl steht, wissen auch die Leute nicht, die das Modell trainiert haben.
Der Vektor taugt nur zum Vergleich. Fragen Sie, wie nah er am Vektor für „Hydraulikaggregat verliert Öl“ liegt, erhalten Sie eine Zahl, üblicherweise die Kosinus-Ähnlichkeit zwischen −1 und 1. Alles, was Embedding-Systeme leisten, beruht auf dieser Zahl.
Ein Vektor lässt sich deshalb nur mit Vektoren desselben Modells vergleichen. Koordinaten aus multilingual-e5-large und aus bge-m3 haben beide 1.024 Dimensionen und beschreiben trotzdem zwei unverwandte Räume. Ein Vergleich über diese Grenze stürzt nicht ab, er liefert eine plausibel aussehende Zahl ohne Aussage. Weiter unten kehrt diese Regel als teuerste Falle dieses Artikels zurück.
Warum ähnliche Bedeutung nah beieinander landet
Niemand hat diesen Raum entworfen; er entsteht im Training. Das Modell sah gewaltige Mengen an Textpaaren, die zusammengehören, etwa eine Frage und ihre Antwort, eine Überschrift und ihren Artikel oder einen deutschen Satz und seine englische Übersetzung. Das Training drängte es, jedes Paar nah zusammenzulegen und zufällig gezogene Paare auseinanderzuschieben. Läuft das lange genug über einen großen Teil des Internets, liegt Text, der in denselben Zusammenhängen auftaucht, in derselben Nachbarschaft. Die Geometrie ergibt sich aus der Statistik.
Das Modell hat dabei keine Bedeutung gelernt, sondern welche Texte vom selben Thema handeln. „Ähnlich“ heißt deshalb „Diese beiden Sätze würden plausibel im selben Gespräch vorkommen“. Es heißt nicht „Diese beiden sagen dasselbe“ und erst recht nicht „Diese beiden stimmen“.
„Wasserschäden sind vom Versicherungsschutz umfasst“ und „Wasserschäden sind vom Versicherungsschutz nicht umfasst“ handeln vom selben Thema, teilen den Wortschatz und unterscheiden sich in einem Wort, und ein Embedding-Modell legt sie fast übereinander. Für einen Regionalversicherer, der eine Suche über seine Bedingungswerke baut, ist das der Kern der Aufgabe und kein Randfall. Bei Ausschlüssen, Ausnahmen und Sicherheitshinweisen entscheidet dieser Unterschied über die Antwort, und Ähnlichkeit erfasst ihn nicht.
Was Sie davon haben: Retrieval und Klassifikation
Retrieval ist die bekannte Hälfte. Sie zerlegen Dokumente in Chunks, embedden jeden Chunk, legen die Vektoren ab, embedden zur Laufzeit die Frage und holen die nächsten Nachbarn. So beginnt jedes RAG-System; die vollständige Pipeline umfasst erheblich mehr, und in der Datenbank darunter steckt das Engineering der approximativen Suche. Embeddings sind eine Stufe dieser Pipeline und selten die, die versagt.
Die zweite Hälfte nutzt fast niemand, obwohl sie oft der bessere erste Schritt ist: Embeddings klassifizieren hervorragend. Jedes Unternehmen hat im Sammelpostfach tausend E-Mails liegen, die ein Mensch bereits in „Ersatzteilanfrage“, „Reklamation“, „Rechnungsfrage“ und „Sonstiges“ sortiert hat. Embedden Sie alle und setzen Sie in etwa zehn Zeilen scikit-learn eine logistische Regression darauf. Dieser Router antwortet in Millisekunden, kostet pro Aufruf nichts, läuft auf einer CPU im eigenen Haus und liefert eine Konfusionsmatrix, die Sie der Fachabteilung vorlegen können.
Inzwischen greifen Teams reflexhaft zum LLM-Prompt. Das ist manchmal richtig, nämlich wenn die Kategorien fein sind, wenn gelabelte Beispiele fehlen oder wenn neben dem Label eine Begründung stehen muss. Das LLM kostet aber pro Aufruf Geld, braucht pro Aufruf spürbar länger und ändert sein Verhalten unbemerkt, sobald der Anbieter eine neue Version ausrollt, und seine Ausgabe können Sie nur durch Lesen bewerten. Den Embedding-Klassifikator prüfen Sie wie normale Software. Für Routing in hoher Stückzahl und geringer Feinheit ist er das bessere Engineering, und er kostet einen Nachmittag Arbeit.
Ein Embedding-Modell auswählen
Die Modellwahl zählt weniger, als die Ranglisten nahelegen, und eine Rangliste entscheidet sie ohnehin nicht. MTEB ist ein ernstzunehmender Benchmark und grenzt das Feld vernünftig auf drei Kandidaten ein. Welcher der drei auf Ihren Wartungsberichten am besten abschneidet, sagt er nicht, weil Ihre Wartungsberichte nicht darin vorkamen. In der Praxis trennt den Spitzenreiter vom soliden Mittelfeld weniger, als Chunking-Entscheidungen ausmachen.
Nehmen Sie deshalb 50 echte Fragen aus dem Ticketsystem, keine erdachten, und notieren Sie zu jeder, welches Dokument zurückkommen müsste. Lassen Sie Ihre drei Kandidaten laufen und zählen Sie, wie oft das richtige Dokument unter den ersten fünf steht. Das kostet einen Nachmittag und ersetzt die Diskussion durch Messwerte. Übrig bleibt ein Prüfset, das Sie in zwei Jahren noch benutzen, sooft jemand eine Änderung vorschlägt.
Nehmen Sie nicht an, dass ein Modell an der Spitze einer englischen Rangliste auch brauchbar Deutsch liest. Tokenizer, die überwiegend auf Englisch trainiert wurden, zerlegen deutsche Komposita: Aus Betriebshaftpflichtversicherung wird eine Handvoll Fragmente, die einzeln nichts bedeuten, und mit dem Begriff, den Ihr Nutzer eingetippt hat, geht das Modell am schlechtesten um. Ein starkes mehrsprachiges Modell wie multilingual-e5, bge-m3, jina-embeddings-v3 oder die mehrsprachigen Angebote von Cohere oder OpenAI ist einem kleinen reinen Deutsch-Modell allerdings oft überlegen; eine feste Regel ist das nicht. Stellen Sie die Auswahl über die deutschen MTEB-Aufgaben zusammen und prüfen Sie sie dann mit Ihren eigenen 50 Fragen.
Hängt ein Projekt an der Datenhaltung im Haus, ist die Embedding-Schicht der günstige Teil von On-Premise. Modelle wie multilingual-e5-large oder bge-m3 passen auf eine mittelklassige GPU und laufen für die nächtliche Batch-Indizierung auch auf der CPU. Teuer am Selbstbetrieb ist das Generierungsmodell, nicht das Embedding-Modell.
Drei Fallen ohne Fehlermeldung
Jede dieser Fallen hinterlässt ein System, das läuft, Ergebnisse liefert und falsch liegt. Teuer werden sie, weil nichts den Fehler meldet.
Ihr Vokabular stand nicht in den Trainingsdaten
Ein Embedding-Modell kennt Schrauben, weil das Internet voller Schrauben ist. Es weiß nicht, dass „K1-Teil“ bei Ihnen ein Teil auf dem kritischen Pfad meint oder dass DIN 912 und DIN 913 verschiedene Verbindungselemente bezeichnen und nicht zwei Schreibweisen derselben Zeichenkette. Der Tokenizer zerlegt Teilenummern, Artikelnummern, Hauskürzel und Projektjargon in Fragmente, und die Fragmente ähneln sich. Ein Servicetechniker beim Maschinenbauer, der ein Ersatzteil über seine Nummer sucht, ist deshalb der schlechteste Fall für reine Vektorsuche.
Ein besseres Embedding-Modell löst das nicht, weil kein Modell Ihre Teileliste kennt. Stellen Sie stattdessen Stichwortsuche per BM25 neben die Vektorsuche, führen Sie die Treffer zusammen und halten Sie die Teilenummer in einem Metadatenfeld, auf das Sie exakt filtern können. Für jeden Bestand mit Kennnummern ist hybride Suche der Ausgangspunkt und keine spätere Verfeinerung.
Ein Chunk, ein Punkt
Jeder Chunk bekommt einen einzigen Vektor, egal wie viel Text darin steht. Ein knapper Absatz über Gewährleistungsfristen landet in der Gewährleistungs-Nachbarschaft. Ein fünfseitiger Chunk über Gewährleistung, Lieferbedingungen und Haftung landet im Mittel der drei, an einer Stelle im Raum, an der nichts liegt. Er verliert deshalb gegen einen mittelmäßigen kleinen Chunk, der wenigstens vom richtigen Thema handelt.
Daher der Rat, klein und an der Struktur entlang zu schneiden. Aus demselben Grund führt der Vorschlag „nehmen wir ein Modell mit 8k Kontext, dann embedden wir ganze Dokumente“ in eine Falle, obwohl er wie ein Fortschritt aussieht. Die Grenze liegt nicht bei der Textmenge, die durch das Modell passt, sondern darin, dass ein Vektor nicht gleichzeitig in drei Richtungen zeigen kann.
Zwei Arten von veraltet, nur eine davon fällt auf
Bei der offensichtlichen Art hat sich das Dokument geändert und der Index nicht. Die Preisliste stammt vom März, die Antwort zitiert sie, und der Kunde bekommt den März-Preis. Jedes RAG-Projekt plant dafür, indiziert bei Änderung neu, versieht alles mit Zeitstempeln und lässt verfallen, was sich nicht überprüfen lässt. Das Problem ist gelöst, sobald jemand dafür zuständig ist.
Die andere Art erwischt Teams: Das Modell hat sich geändert. Sie steigen auf ein neueres Embedding-Modell um, oder Ihr Anbieter stellt die Version ab, mit der Sie indiziert haben, oder jemand tauscht ein e5-Modell ein, ohne zu bemerken, dass die e5-Familie Anfragen mit dem Präfix query: und Dokumente mit passage: erwartet. Diese Konvention steht in der Modellkarte, und kein Fehler erzwingt sie. Die Kosinus-Ähnlichkeit vergleicht dann zwei Vektoren aus zwei unverwandten Räumen und gibt eine vernünftig aussehende Zahl zurück. Die Qualität fällt nicht auf null, was wenigstens auffiele. Sie sinkt auf mittelmäßig, und das bemerkt niemand, weil niemand einen Vergleichswert aufbewahrt hat.
Schreiben Sie deshalb Modellname, Version und Prompt-Konvention in die Index-Metadaten und lassen Sie den Abfragepfad vor der Suche prüfen, ob sie zusammenpassen. Behandeln Sie das Neu-Embedden als Migration mit Umschaltpunkt und nicht als Konfigurationsänderung. Das spricht auch für den Eigenbetrieb des Embedding-Modells: Ein Anbieter kann ein Modell nach seinem Zeitplan abkündigen, und dann bauen Sie Ihren Index nach seinem Zeitplan neu.
Aus dem eigenen Bau: der Modell-Fingerabdruck
Zwei Embedding-Modelle in einem Index, eine Form der dritten Falle, haben wir in TippelPi, unserem Wissenssystem auf dem Raspberry Pi, technisch ausgeschlossen. Beim Einlesen erhält jeder Abschnitt den Fingerabdruck des Modells, das ihn eingebettet hat. Findet der Server im Index Abschnitte mit fremdem Fingerabdruck, verweigert er die Suche mit einem Fehler, statt falsch sortierte Treffer auszuliefern, und der Statusendpunkt nennt die Zahl der betroffenen Abschnitte.
Der Wechsel des Modells macht außerdem die Marken ungültig, an denen die Synchronisation unveränderte Dateien erkennt. Der nächste Abgleich bettet deshalb den gesamten Bestand neu ein und hebt die Sperre von selbst auf. Aus dem stillen Fehler wird so ein gemeldeter, und der nächste Lauf behebt ihn. Mehr zum System steht im Lab.