Warum die klassische Abnahme an KI scheitert
Der Werkvertrag schuldet einen Erfolg. § 631 BGB verpflichtet den Unternehmer zur Herstellung des versprochenen Werkes, § 640 BGB den Besteller zur Abnahme, sobald das Werk vertragsgemäß hergestellt ist. Beide Vorschriften setzen stillschweigend einen Zustand voraus, auf den man zeigen und „fertig“ sagen kann. Dort verläuft auch die Grenze zum Dienstvertrag, bei dem nur die Tätigkeit geschuldet ist und in den die Parteien üblicherweise ausweichen, wenn niemand „fertig“ definieren kann. Klassische Software passt in den Werkvertrag: Der Rechnungsimport liest die Datei ein oder liest sie nicht ein, und das lässt sich zweimal hintereinander mit demselben Ergebnis vorführen.
Eine Extraktionsstrecke auf Basis eines Sprachmodells hat diese Eigenschaft nicht. Schicken Sie dieselben 300 Rechnungen zweimal hindurch, bekommen Sie zwei Zahlen, und beide sind Stichproben aus demselben System. Kaputt ist dabei nichts, das System verhält sich so. Der Satz „das Werk ist vertragsgemäß hergestellt“ verliert damit seinen Bezugspunkt, und die Parteien streiten. Der Besteller zeigt auf drei falsche Ausgaben und sagt: Es funktioniert nicht. Der Auftragnehmer sagt, es funktioniere, drei von 300 lägen im normalen Schwankungsbereich. Beide Aussagen sind vertretbar, keine ist beweisbar, und es folgen Gutachter, Verzug und eine Rechnung, die niemand eingeplant hat.
Das kann nach einem Anbieter klingen, der seine Zusage aufweicht. Die Konstruktion schützt aber mindestens ebenso den Besteller, und der Grund steht in § 640 Abs. 1 S. 2 BGB, auf den ich am Ende zurückkomme. Wer keine Zahl in den Vertrag schreibt, vermeidet keinen Schwellwert, sondern überlässt dessen Wahl einem Gericht.
Der Abnahmedatensatz gehört in den Vertrag
Wenn die Messung geschuldet wird, gehört das Gemessene zur Leistungsbeschreibung, und zwar als unterschriebene Anlage in den Vertrag und nicht in ein Jira-Ticket, in einen Mailverlauf oder nur in das Repository des Auftragnehmers. Das wirkt bürokratisch, bis beide Seiten in einem Streit auf unterschiedlichen Dateien gemessen haben und dabei durchgehend ehrlich waren.
Einfrieren vor der Umsetzung, nicht danach
Ein Testdatensatz, den jemand zusammenstellt, nachdem das System existiert, prüft wenig. Er enthält die Fälle, an die während der Entwicklung jemand gedacht hat, und diese Fälle laufen durch. Alle Beteiligten wissen das, und niemand sagt es, weil das Zusammenstellen Arbeit kostet und das Verschieben scheinbar nichts. Das Datum auf der Anlage sollte deshalb vor der ersten Zeile Produktivcode liegen. Keine andere einzelne Änderung in dieser Konstruktion wirkt stärker, und gegen keine sträuben sich Auftraggeber mehr.
Danach hashen Sie die Datei: Sie schreiben einen SHA-256 der .jsonl in die Anlage, und beide Seiten halten eine identische Kopie. Das kostet einen Befehl, und ein halbes Jahr später, im Raum mit dem Anwalt, beantwortet der Hash die Frage „welche 300?“. Versionieren Sie den Satz ebenfalls, als abnahme_set_v1. Vereinbaren die Parteien später ein v2, ist das ein Change Request mit Preis und kein stiller Austausch.
Eine feste Zahl für die Größe nenne ich nicht, weil es keine gibt. Der Satz muss den Schwellwert von der Zahl knapp darunter unterscheiden können: Mit 30 Fällen lassen sich 0,85 und 0,80 nicht sinnvoll trennen, ein auf 30 Fällen gemessener Schwellwert sagt also nichts aus. Bei Dokumentenextraktion lande ich meist zwischen 200 und 400 Fällen, geschichtet in die alltägliche Mehrheit, einen bewussten Block unbequemer Fälle und einen kleinen Block schlechter Eingaben, bei denen die korrekte Reaktion die Verweigerung ist. Nicht die Statistik begrenzt die Größe, sondern der Mensch, der zu jedem Fall die richtige Antwort aufschreiben muss.
Labeln ist Mitwirkungspflicht des Auftraggebers
Nur der Besteller weiß, was „richtig“ für seine Rechnungen, seine Verträge, seine Tickets bedeutet. Ein Auftragnehmer kann die Referenzantworten für Ihr Geschäft nicht erfinden, und wenn er es anbietet, wäre ich vorsichtig. Die Labels sind deshalb eine Mitwirkungspflicht des Auftraggebers, und die gehört mit Termin in den Vertrag. Kommt die Anlage zu spät, blockiert sie die Abnahme, und beide Seiten sollten sehen können, auf wessen Seite die Verzögerung liegt.
300 Dokumente zu labeln kostet einige Tage einer Fachkraft, die anderes zu tun hat, und dieser Posten fällt am ehesten aus der Planung. Overhead ist das trotzdem nicht: Wer labelt, definiert das Abnahmekriterium, und diese Arbeit bezahlen Sie ohnehin, jetzt im Budget oder später im Streit. Dieser Artikel setzt voraus, dass Sie einen solchen Satz haben, und behandelt, was Sie vertraglich damit anfangen.
{
"anlage": "3 — Abnahmedatensatz und Messprotokoll",
"datensatz": {
"datei": "abnahme_set_v1.jsonl",
"sha256": "<vollstaendiger Hash — Anlage 3a>",
"faelle": 300,
"eingefroren": "2026-03-02",
"gelabelt_von": "auftraggeber",
"schichten": { "regelfall": 210, "grenzfaelle": 60, "muss_ablehnen": 30 }
},
"metrik": { "name": "macro_f1", "schwellwert": 0.85 },
"protokoll": {
"laeufe": 5,
"temperature": 0.0,
"seed": 42,
"aggregat": "mittelwert_ueber_laeufe",
"streuband": { "max_stdabw": 0.02 },
"modell": "<anbieter>/<modell>@<fixierte Version>",
"harness": "eval-harness @ git 1a2b3c4",
"durchgefuehrt_von": "auftragnehmer",
"im_beisein_von": "auftraggeber"
},
"entscheidungsregel": {
"stdabw > 0.02": "keine gueltige Messung — einmal wiederholen",
"mittelwert >= 0.85": "abnahmereif",
"mittelwert < 0.85": "Mangel — Nacherfuellung"
}
}
Das Messprotokoll: Wann eine Zahl verbindlich ist
„0,85 Macro-F1“ allein ist noch nicht prüfbar. Offen bleibt, wie und wie oft gemessen wird, auf welcher Modellversion, auf wessen Maschine, mit wessen Code und in wessen Beisein. Über jede dieser Fragen können die Parteien streiten, und jede lässt sich vorher billig und nachher nur teuer klären. Das Protokoll muss mindestens festlegen:
- Metrik und Schwellwert — eine einzige Zahl entscheidet, und eine Harness berechnet sie, von der beide Seiten eine Kopie haben. Drei Metriken, über die man anschließend spricht, entscheiden nichts.
- Temperature und Seed — ausdrücklich benannt, denn „wir haben es laufen lassen“ ist keine Einstellung.
- Anzahl der Läufe —
n = 5, weil ein einzelner Lauf eine Stichprobe ist und Sie eine Verteilung beschreiben wollen. - Aggregation — Mittelwert über die Läufe. Benennen Sie die Aggregation, denn „hat einmal bestanden“ und „besteht im Mittel“ sind verschiedene Zusagen.
- Streuband — eine maximale Standardabweichung über die Läufe, oberhalb derer keine gültige Messung vorliegt.
- Umgebung — Modellversion, Harness-Commit und Hardwareklasse, fixiert in der Anlage.
- Wer misst, wer ist dabei — üblicherweise führt der Auftragnehmer aus, und der Auftraggeber ist zugegen. Eine Bildschirmfreigabe reicht dafür, eine unbeobachtete Messung reicht nicht.
Temperature 0 und ein fester Seed reduzieren die Streuung, beseitigen sie aber nicht, auch wenn Sie selbstbewusstere Behauptungen lesen werden. Batching, nicht-deterministische GPU-Kernel und anbieterseitiges Routing können aus identischen Eingaben trotzdem andere Tokens erzeugen, und ein gehostetes Modell kann sich unter stabil aussehendem Namen ändern. On-Premise kommen Sie der Determiniertheit näher, erreichen sie aber nie ganz. Vereinbaren Sie deshalb ein Streuband statt eines Reproduzierbarkeitsversprechens. „Gleiche Eingabe, gleiche Ausgabe“ würde ich unter keinem Druck vereinbaren. Das ist nicht lieferbar, und eine Zusage, die Sie nicht halten können, ist schlechter als keine, weil sie der Gegenseite den Mangel liefert.
Ein Wiederholungslauf mit 0,79: Mangel oder Messrauschen?
Die Antwort hängt allein davon ab, ob die Parteien ein Protokoll vereinbart haben, und an nichts sonst am System. Mit der Anlage von oben ist ein Mittelwert von 0,79 bei einer Standardabweichung von 0,01 ein Mangel, den der Vertrag selbst als wesentlich benennt, und der Auftragnehmer schuldet Nacherfüllung. Ein Mittelwert von 0,79 bei einer Standardabweichung von 0,06 ist dagegen keine gültige Messung. Die Parteien wiederholen sie, und danach sollte jemand fragen, warum das System so instabil ist, denn eine Streuung dieser Größe ist selbst ein Befund, den man lieber vor als nach der Abnahme hat. Ohne Protokoll stehen hinter 0,79 nur zwei Menschen mit verschiedenen Vorstellungen davon, was „nah genug“ heißt.
Der Schwellwert darf deshalb keine Zahl sein, die jemand in einer Besprechung gegriffen hat. Messen Sie ihn einmal auf echten Daten in einem zeitlich begrenzten Piloten, bevor Sie ihn unterschreiben. Ich unterschreibe keinen Festpreis-Werkvertrag gegen einen Schwellwert, den noch nie jemand erreicht hat. Unfair wäre das nicht, aber ein solcher Schwellwert enthält keine Information.
Die Klausel und der Streit, den sie verhindert
Die folgende Klausel zeigt die Form und nicht den Wortlaut. Alles, was etwas entscheidet, verweist auf die Anlage:
(1) Das Werk ist abnahmereif, wenn die Abnahmemessung nach Anlage 3 einen Mittelwert des Macro-F1 von >= 0,85 ueber 5 Laeufe erreicht. (2) Verbindlich ist eine Messung aus 5 Laeufen auf abnahme_set_v1.jsonl (SHA-256 gemaess Anlage 3a) bei Temperature 0.0 und Seed 42 in der in Anlage 3b festgeschriebenen Umgebung, durchgefuehrt vom Auftragnehmer im Beisein des Auftraggebers. (3) Eine Messung, deren Standardabweichung ueber die 5 Laeufe 0,02 ueberschreitet, ist keine gueltige Messung und wird einmal wiederholt. (4) Einzelne fehlerhafte Ausgaben stellen fuer sich genommen keinen Mangel dar. Das Unterschreiten des Schwellwerts ist ein wesentlicher Mangel und berechtigt zur Verweigerung der Abnahme; dem Auftragnehmer steht Nacherfuellung auf demselben Abnahmedatensatz zu. (5) Nach der Abnahme ist eine Aenderung der Modellversion oder der Umgebung nach Anlage 3b eine Aenderung des Werks. Sie erfordert eine neue Messung und ist gesondert zu vereinbaren.
An Absatz (4) hängt der Streit, und der Grund steht in § 640 Abs. 1 S. 2 BGB. Dort steht, dass die Abnahme wegen unwesentlicher Mängel nicht verweigert werden kann. Lesen Sie das als Auftraggeber. Ihr Dienstleister liefert, drei von 300 Ausgaben sind falsch, Sie verweigern die Abnahme und behalten die Zahlung ein. Der Dienstleister beruft sich auf § 640 Abs. 1 S. 2 und nennt ein Prozent unwesentlich, und Sie widersprechen. Schweigt der Vertrag dazu, ob eine Fehlerquote von 1 % bei der Rechnungsextraktion wesentlich ist, entscheidet später ein Gericht, beraten durch einen Sachverständigen, mit Kostenrisiko auf beiden Seiten und einem Ausgang, den heute niemand vorhersagen kann. So verläuft der Normalfall eines Vertrags ohne Zahl, nicht der Worst Case.
Die Schwellwertklausel schützt den Besteller also mindestens so sehr wie den Auftragnehmer. Mit ihr macht der Auftraggeber „wesentlich“ von einer Rechtsmeinung zu einer Rechengröße, die er selbst gewählt hat, und zwar vor der Unterschrift, wenn er die größte Verhandlungsmacht besitzt. Braucht Ihr Prozess 95 %, schreiben Sie 0,95 hin und bezahlen Sie 0,95, denn das ist ein anderes System. Würden Sie in Wahrheit 0,85 akzeptieren, verschafft Ihnen das Hinschreiben eine besser begründbare Position, bei 0,84 die Abnahme zu verweigern, weil der Vertrag die Schwelle selbst als wesentlich benennt und die Erheblichkeit nicht erst im Streit bestimmt werden muss.
Zwei Dinge gehören noch in die Anlage. Erstens findet Nacherfüllung auf demselben eingefrorenen Satz statt, denn auf einem frischen Satz je Versuch wären die Messungen nicht vergleichbar, und wer oft genug misst, trifft irgendwann eine günstige Stichprobe. Das hat eine Kehrseite: Ein Auftragnehmer, der gegen einen sichtbaren, eingefrorenen Satz iteriert, überanpasst sich irgendwann an ihn. Rechtfertigt der Einsatz die zusätzliche Labelarbeit, hilft dagegen ein zweiter, versiegelter Satz gleicher Herkunft, den niemand offenlegt und den die Parteien zur Abnahme einmal messen. Der vereinbarte Schwellwert gilt weiter für den sichtbaren Satz, aber ein großer Abstand zwischen beiden ist ein Signal, das beide Seiten vorher als ernstzunehmend vereinbart haben.
Zweitens gehört Drift hinein. Mit der Abnahme ist das System in dieser Modellversion und dieser Umgebung abgenommen. Aktualisiert der Modellanbieter unter gleichem Namen und die Zahl wandert, ist das kein Mangel des gelieferten Werks, denn am Werk hat sich nichts geändert. Folgenlos ist es aber auch nicht, und jemand trägt es. Entweder Sie fixieren die Version und akzeptieren, dass der Anbieter sie irgendwann abkündigt, oder Sie kaufen einen Wartungsvertrag, der den Abnahmedatensatz nach Plan erneut misst und festlegt, was bei einem Absacken passiert. Ein solcher Wartungsvertrag ist ein Dienstvertrag neben dem Werkvertrag, und diese Struktur passt zu der Aufgabe. Regeln Sie nichts, trägt es niemand; das ist der Standard, und so verfällt ein System ein Jahr lang unbemerkt. Entscheiden Sie vor der Abnahme, denn danach muss in der Regel der Besteller den Mangel darlegen, was ein weiterer Grund ist, die Messung schriftlich zu haben.