Halluzination folgt aus dem Verfahren

Ein Sprachmodell hat keinen Faktenspeicher, in dem es nachsieht. Es hat aus enormen Textmengen statistisch gelernt, wie Text weitergeht, und wählt danach das nächste Token und wieder das nächste, bis die Antwort fertig aussieht. Kein Schritt dieser Schleife gleicht die Ausgabe mit einer Quelle ab. Das Modell versagt deshalb nicht, wenn es halluziniert, denn richtige und erfundene Antworten entstehen auf demselben Weg. Stützen die Trainingsdaten eine Fortsetzung klar, schreibt das Modell einen Fakt, und stützen sie keine, schreibt es etwas in der Form eines Fakts.

Ein Modell, das nicht halluziniert, können Sie deshalb nicht kaufen. Jede Gegenmaßnahme in diesem Text verengt entweder die Aufgabe des Modells oder prüft das Ergebnis von außen, und keine ändert den Mechanismus. Wer etwas anderes andeutet, verkauft eine niedrigere Fehlerquote als neue Kategorie.

Der Mechanismus. Das Modell sagt plausiblen Text vorher und schlägt nichts nach. Wahrheit und Sprachfluss entstehen im selben Vorgang, deshalb sehen Sie einer falschen Antwort den Fehler nicht an. Legen Sie Ihr System darauf aus, statt auf eine Lösung zu warten.

Warum es so überzeugt klingt

Das Modell irrt im selben Tonfall, in dem es recht hat, und das überrascht Nutzer mehr als der Irrtum selbst. Es schreibt die erfundene Klausel, ohne zu zögern und ohne vorsichtiger zu formulieren.

Ein Modell misst seine Sicherheit nicht; es hat gelernt, in einem sicheren Ton zu schreiben. „Das weiß ich nicht“ setzt eine Frage, die beantwortbar aussieht, selten am wahrscheinlichsten fort, und das Trainingsziel belohnt den Text, der passt, und keinen kalibrierten Zweifel. Das Modell formuliert deshalb im Normalfall flüssig und bestimmt, und dieser Ton hängt nicht davon ab, ob der Inhalt stimmt.

Die Rückfrage „bist du sicher?“ prüft deshalb nichts. Das Modell beantwortet sie im selben Verfahren auf fast demselben Kontext. Es leitet denselben Fehler neu her, oder es gibt nach und stimmt Ihrem Einwand zu, gleich wer recht hatte. Konfidenzwerte, die das Modell selbst angibt, haben denselben Mangel. Lassen Sie das Modell seine eigene Arbeit beurteilen, bekommen Sie einen weiteren Absatz und keine Kontrolle.

Wann es zählt — und wann nicht

Anbieter beantworten gern die Frage „Wie genau ist das Modell?“. Den Schaden bestimmen aber zwei andere Größen: was eine falsche Antwort kostet und wie lange es dauert, bis sie jemand bemerkt. Die Genauigkeit gehört zum Modell. Kosten und Entdeckungszeit gehören zum Prozess, in den Sie es stellen, und den gestalten Sie.

Ein Maschinenbauer setzt im Service einen Ersatzteil-Assistenten ein. Das Modell erfindet eine Teilenummer, jemand bestellt den falschen Dichtring, der Ring passt nicht, und ein Techniker meldet es. Das kostet ein paar hundert Euro und Ärger, aber der Fehler zeigt sich von selbst. Bei einem Regionalversicherer lassen sich Sachbearbeiter den Deckungsumfang zusammenfassen, bevor sie an den Kunden schreiben. Das Modell übergeht einen Ausschluss oder erfindet einen, und ein Ablehnungsschreiben geht raus. Niemand bemerkt das, bis Monate später eine Ombudsmann-Beschwerde eingeht und jemand das Muster über alle seither versandten Schreiben erklären muss. Modell und Fehlerquote sind in beiden Fällen gleich, die Ingenieursaufgabe unterscheidet sich.

Kosten einer Falschaussage Hoch Gering Sofort bemerkt Spät bemerkt Erden und belegen die Prüfung greift noch rechtzeitig Freigabe — oder gar nicht falsch und unsichtbar: hier sitzt die Haftung Einfach ausliefern der Nutzer korrigiert gratis mit Einschränken, Stichprobe einen Ausschnitt prüfen, nicht alles Nicht die Modellgüte entscheidet über den Prüfaufwand, sondern Kosten und Zeit bis zum Auffallen.
Je nach Feld braucht dasselbe Modell ein anderes System um sich. Setzen Sie Ihr Prüfbudget oben rechts ein, bei hohen Kosten und später Entdeckung, und nicht unten links.

Wer den Aufwand gleichmäßig über alle vier Felder verteilt, baut einen schweren Freigabeprozess für ein internes Brainstorming-Werkzeug und keinen für das Schreiben an den Kunden. Sortieren Sie Ihre Anwendungsfälle in dieses Raster, bevor Sie etwas beschaffen; es zeigt, wohin das Geld gehört.

Was LLM-Halluzinationen reduziert

Drei Maßnahmen leisten den größten Teil. Sie stehen hier in der Reihenfolge, in der Teams sie üblicherweise ausprobieren, nicht in der Reihenfolge ihrer Wirkung.

Erdung und ihre Nebenwirkung

Am meisten bringt es, eigene Dokumente abzurufen und das Modell daraus antworten zu lassen; wie eine RAG-Pipeline im Detail funktioniert, beschreibt ein eigener Artikel. Erdung senkt aber nicht nur die Rate der Halluzinationen, sie verändert auch ihre Gestalt, und die neue Gestalt fällt schwerer auf.

Eine ungeerdete Erfindung erkennt man oft, denn sie bleibt vage, nennt keinen Beleg und klingt eine Spur zu glatt. Eine geerdete nennt Dokumentnamen, Abschnittsnummer und ein Zitat, das fast passt, also eine echte Klausel aus einer echten Police, die nur nicht aussagt, was der Satz behauptet. Belege schaffen Vertrauen, bevor jemand sie prüft. Wer eine nackte Behauptung skeptisch gelesen hätte, winkt dieselbe Behauptung durch, sobald „[Bedingung 4.2]“ dahintersteht. Die Ingenieursarbeit gehört deshalb nicht in schönere Quellenangaben, sondern in solche, die einen Klick von der Belegstelle entfernt liegen und die Passage markieren, sodass Prüfen zwei Sekunden kostet statt zwei Minuten. Kostet das Prüfen mehr als das Vertrauen, vertrauen die Menschen.

Den Antwortraum einschränken

Teams unterschätzen diese Maßnahme am meisten, und sie kostet meist am wenigsten. Erfundene Teilenummern verhindert verlässlich, wer sie unmöglich macht. Muss die Antwort eine Zeile aus Ihrem ERP sein, soll das Modell die Zeile auswählen und die Nummer nicht selbst schreiben. Constrained Decoding (ein JSON-Schema, eine GBNF-Grammatik unter llama.cpp, Outlines) erzwingt eine strukturell gültige Ausgabe; ein Fremdschlüssel-Abgleich gegen die Tabelle erzwingt, dass der Wert existiert. Was an einer der beiden Prüfungen scheitert, erreicht keinen Menschen.

Scheitert ein halluziniertes Feld am Schema, fängt das System es ab und versucht es neu. Ein halluzinierter Satz im Fließtext kommt dagegen in drei Wochen als Support-Ticket zurück, falls überhaupt eines kommt. Jeder Freiheitsgrad, den Sie der Ausgabe nehmen, beseitigt eine Kategorie von Halluzination, die Sie hinterher nicht mehr entdecken müssen.

Gegen etwas prüfen, das nicht das Modell ist

Prüfen heißt, die Aussage gegen eine externe Wahrheit zu halten: die Abfrage ausführen, die Rechnung im Code machen, prüfen, ob die ID auflöst, und die Zusammenfassung gegen die Passage diffen, aus der sie stammt. Dafür taugt ein Agent mit Werkzeugen, denn er muss nachschlagen, statt sich zu erinnern. Ein zweites Modell als Prüfer ist besser als nichts und fängt einige Fehlerklassen ab. Es bleibt aber nur schwach unabhängig, weil es Trainingsdaten und damit blinde Flecken mit dem Modell teilt, das es bewertet.

Prüfung erwischt Erfindung weit besser als Auslassung. Lässt eine Zusammenfassung stillschweigend den einen Ausschluss weg, auf den es ankam, deckt die Quelle sie trotzdem vollständig; sie widerspricht nichts und besteht jede Entailment-Prüfung, die Sie bauen können. Ich kenne dafür keine saubere technische Lösung, und vor allem deshalb muss oben rechts weiterhin ein Mensch sitzen.

Der kontraintuitive Teil. Erdung macht Halluzinationen seltener und schwerer erkennbar. Leser prüfen eine falsche Antwort mit echtem Beleg seltener als eine ohne. Der Gewinn bleibt deshalb nur, wenn das Prüfen des Belegs keine Mühe kostet; sonst überzeugt der Fehler nur besser.

Was ich nicht tun würde

Ich würde die „Halluzinationsrate“ nicht zur Kennzahl machen. Sie verdichtet alles auf eine Zahl über einem synthetischen Testsatz, sie ändert sich, sobald jemand die Evaluation anfasst, und sie sagt nicht, ob die verbleibenden Fehler die teuren sind. Ein kostengewichteter Wert über einem Goldsatz aus echten Anfragen, also aus Ihren Tickets und den Klauseln, nach denen Ihre Sachbearbeiter fragen, kostet mehr Aufwand und ist mehr wert.

Ich würde kein Halluzinations-Erkennungsmodell kaufen und es als Sicherheitskonzept ausgeben. Solche Detektoren markieren einen Teil eines Problems, das sich nicht vollständig detektieren lässt, und gerade die Fälle, die sie übersehen, richten den Schaden an. Sie taugen als Filter, nicht als Kontrolle.

Ich würde außerdem kein Modell auf einen Pfad stellen, der zugleich teuer und spät sichtbar ist, ohne einen Menschen, der die Befugnis und die Zeit hat, Nein zu sagen. Fällt Ihr System als Hochrisiko unter die EU-KI-Verordnung — Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung stehen in Anhang III —, verlangt Artikel 14 wirksame menschliche Aufsicht; anwendbar werden diese Pflichten für Anhang-III-Systeme nach der Verschiebung durch den Digital-Omnibus am 2. Dezember 2027. Ein Sachbearbeiter, der hunderte Zusammenfassungen pro Stunde freigeben soll, stempelt ab und beaufsichtigt nicht, und eine Aufsicht, die Sie nicht besetzen, findet nicht statt. Halluzination ist außerdem nicht immer ein Unfall. Wer Text in Ihr Kontextfenster bringt, kann steuern, was das Modell überzeugt behauptet, und damit wird Prompt Injection zum selben Problem.

Aus dem eigenen Bau: Eine Reparatur ist kein Beweis

Einen solchen Fall erlebten wir selbst, als wir die Prüfschicht für Sentinel-Regeln bauten. Ein Modell schrieb eine Erkennungsregel, die aus einer Zeitdifferenz eine Rate pro Sekunde berechnete. Die Differenz lag aber in Ticks vor, zehn Millionen pro Sekunde, und die Rate fiel entsprechend zu klein aus. Microsofts Parser nahm die Regel an, sie lief fehlerfrei und hätte nie einen Vorfall gemeldet.

Auf den Fehler hingewiesen, korrigierte das Modell die Einheit und vertauschte dabei die Argumente der Differenz. Das Ergebnis konnte nun nie positiv werden, und die Regel hätte wieder nie ausgelöst. Auch diese Fassung bestand den Parser, und erst die dritte hielt.

Ein Modell repariert, was man ihm zeigt, und kann daneben etwas Neues brechen; danach arbeiten wir. Ein zweites Modell hätte beide Fassungen plausibel gefunden. Eine deterministische Prüfung, die diese Muster kennt, fing beide ab. Die Seite zur Prüfschicht zeigt den vollständigen Lauf und die drei Fehlermuster.