13 % der Detektionsregeln feuern nie

Die Zahl stammt aus dem 5. jährlichen State of SIEM Detection Risk-Report von CardinalOps aus dem Juni 2025. Er wertete mehr als 13.000 echte Detektionsregeln aus hunderten produktiver SIEM-Umgebungen aus, darunter Microsoft Sentinel neben Splunk, QRadar und anderen. Im Durchschnitt über alle untersuchten SIEMs sind rund 13 % dieser Regeln nicht funktionsfähig und werden nie auslösen. Die Queries sind dabei nicht schlecht geschrieben; die Datenquelle ist fehlkonfiguriert, oder das Log-Feld, auf das die Regel zeigt, wird in dieser Umgebung nie befüllt. Derselbe Report beziffert die Abdeckung der MITRE-ATT&CK-Techniken auf nur etwa 21 %, die meisten Angriffstechniken bleiben also ohne Regel.

Trifft der Durchschnitt auch Ihre Umgebung, dann ist etwa jede achte Regel tot. Das Dashboard weist für die Technik trotzdem eine Detektion aus, der Auditbericht hakt sie ab, und der Angreifer kommt durch, weil die Regel nie feuert. CardinalOps nennt als Ursache fehlende Datenquellen und fehlende Felder. Dagegen helfen Daten und Prüfung; weitere generierte Regeln beheben das nicht.

Eine Regel, die sauber parst, kann trotzdem tot sein

Am Text lässt sich eine tote Regel nicht von einer gesunden unterscheiden. Sie ist gültiges KQL und lässt sich ohne Fehlermeldung speichern. Sentinel führt sie planmäßig aus, sie endet ohne Fehler und liefert null Ergebnisse. Null Ergebnisse lesen sich als „keine verdächtige Aktivität“, also wie eine funktionierende Detektion an einem ruhigen Tag. Weder ein roter Balken noch eine Ausnahme noch ein anderes Signal zeigt an, dass etwas kaputt ist, und der Ausfall fällt erst auf, wenn der Vorfall da ist.

So fällt eine Regel aus, wenn sie auf eine Tabelle oder ein Feld filtert, das dieser Workspace nie befüllt, oder wenn ihr Vergleich die Form der Daten nie treffen kann, die Bedingung also immer zu falsch auswertet. Im Query-Text sieht beides plausibel aus, und beides übersteht ein Review, bei dem jemand die Regel nur durchliest. Erst das Schema und die Daten Ihres Workspace zeigen den Unterschied, und beim Lesen hat niemand beides im Kopf.

Zwei Regeln, eine ist still tot

Die beiden folgenden Fragmente sollen dasselbe erkennen, eine PowerShell, die eine base64-kodierte Nutzlast lädt. Beide sind gültiges KQL, und ein Analyst hielte beide für vernünftig, ebenso ein LLM, das man um ein Review bittet.

detection-rule.kql
// Sieht korrekt aus. Parst sauber. In diesem Workspace still tot:
DeviceProcessEvents                        // Tabelle vorhanden, aber nie befüllt
| where FileName =~ "powershell.exe"
| where ProcessCommandLine has "FromBase64String"

// Gleiche Absicht, gegen die Tabelle, die dieser Workspace wirklich befüllt:
SecurityEvent
| where EventID == 4688                    // klassisches Prozess-Log, onboarded
| where NewProcessName endswith "powershell.exe"
| where CommandLine has "FromBase64String"

Die erste Regel fragt DeviceProcessEvents ab, eine Tabelle aus Microsoft Defender for Endpoint. Fehlt die Tabelle im Workspace ganz, schlägt die Regel laut fehl. Sentinel protokolliert den Lauf im Health-Log mit „A table referenced in the query wasn't found“, und eine Regel, deren Zieltabelle gelöscht wurde, wird nach wiederholten Fehlschlägen automatisch deaktiviert. Still fällt die Regel erst aus, wenn die Tabelle im Workspace angelegt ist, aber nie Daten erhält. Dann läuft sie fehlerfrei, liefert dauerhaft null Zeilen und behält ihren grünen Status. Die zweite Regel zielt auf SecurityEvent, das dieser Workspace befüllt, also kann sie feuern. Ob eine Regel tot ist oder lebt, steht demnach im Schema und in den Daten und nicht im Text.

Tausende Regeln prüfen, ohne ein Sprachmodell zu fragen

Niemand prüft einen großen Bestand durch Lesen, und wer noch einmal liest, wiederholt das Verfahren, das stille Regeln übersieht. Nahe liegt heute, jede Regel von einem LLM bewerten zu lassen. Einem Sprachmodell kann man aber nicht zutrauen, die Ausgabe eines anderen Sprachmodells oder eines Menschen als korrekt zu zertifizieren, weil „sieht korrekt aus“ der Fehlermodus selbst ist. Das Modell winkt die tote Regel aus demselben Grund durch wie ein Mensch, nämlich weil sie sich plausibel liest.

Wer ein plausibel aussehendes Artefakt mit einem System prüft, dessen eigene Ausgabe ebenfalls „plausibel, vielleicht falsch“ lautet, gewinnt keine Grundwahrheit und erhält nur ein weiteres plausibles Urteil. Ein LLM, das Regeln prüft, ist außerdem selbst eine LLM-Anwendung mit sicherheitsrelevanter Eingabe und erbt alle bekannten Schwächen jedes LLM-Systems mit nicht vertrauenswürdigem Input. Die Prüfung darf sich nicht zu einer falschen Antwort überreden lassen. (Wie man Regeln baut, statt sie zu auditieren, ist eine verwandte, aber andere Frage; die Schleife aus Generieren, Prüfen und Verfeinern beschreibt Detection Engineering mit LLMs.)

Deterministische Validierung gegen Microsofts eigenen KQL-Parser

Microsoft veröffentlicht einen Parser und semantischen Analysator für KQL als Bibliothek. Kusto.Language ist quelloffen und öffentlich. Damit parst man jede Regel mit Microsofts eigenem Werkzeug statt mit einer Nachbildung der Grammatik. Die Hauptarbeit leistet danach die semantische Analyse. Sie läuft gegen einen Zustand, der das tatsächliche Tabellen- und Spaltenschema Ihres Workspace enthält, und jede Tabellenreferenz, jede Spalte und jede Funktion löst dann gegen das echte Schema auf oder löst nicht auf.

Eine Referenz, die nicht auflöst, beweist, dass die Regel die Zeilen nicht liefern kann, die sie liefern soll. Dieselbe Regel ergibt mit demselben Schema jedes Mal dasselbe Urteil, weil kein Modell in der Schleife sitzt, das halluzinieren könnte.

Detektionsregel KQL, wie geschrieben Kusto.Language parsen + gegen echtes Schema binden Referenz fehlt beweisbar tot → markiert Alles löst auf die Regel kann feuern deterministisch · kein LLM
Die Prüfung fällt ein Urteil, denn jede Referenz löst gegen das echte Workspace-Schema auf oder nicht. Eine Regel, deren Tabelle oder Feld fehlt, kann keine Zeile zurückgeben; das lässt sich beweisen und über den ganzen Bestand in einem Durchlauf feststellen.

Parsen, binden, das Unbeweisbare markieren

Die Prüfung arbeitet in drei Stufen. Parsen mit Kusto.Language fängt Regeln ab, deren Syntax nicht stimmt. Binden gegen das Workspace-Schema findet Referenzen auf Tabellen und Spalten, die im Workspace fehlen. Das deckt die Fälle, die CardinalOps nennt, nur zum Teil ab. Ein Feld, das im Schema deklariert ist und das eine reduzierte Connector-Konfiguration nie befüllt, löst fehlerfrei auf. Es zeigt sich erst im Abgleich mit der tatsächlichen Befüllung, etwa am Anteil nicht-leerer Werte je Spalte über die letzten 30 Tage. Typprüfen meldet Vergleiche zwischen einer Spalte und einem Literal anderen Typs. Diese Meldung stammt aus unserem eigenen Prüfkatalog, denn Kusto.Language selbst lässt den Vergleich einer Textspalte mit einer Zahl ohne Diagnose durch.

Die Prüfung liefert eine Liste der Regeln, die so, wie sie geschrieben sind, beweisbar nicht feuern können, und nennt zu jeder die Referenz, die nicht auflöst. Sie liefert keine Ampel, die „wahrscheinlich in Ordnung“ sagt. Weil sie mechanisch arbeitet, prüft sie Tausende Regeln in einem Durchlauf, ohne dass ein Mensch oder ein Modell jede einzeln beurteilen müsste. Für ein MSSP, das Regeln über viele Mandanten pflegt, läuft dieselbe Prüfung pro Mandant gegen dessen Schema.

Womit man prüft. Prüfen Sie eine plausibel aussehende Regel nicht mit einem System, dessen eigene Ausgabe „plausibel, vielleicht falsch“ ist. Prüfen Sie sie gegen Microsofts eigene Grammatik und Ihr tatsächliches Schema, denn beide ergeben bei gleicher Eingabe jedes Mal dasselbe Urteil.

Was diese Prüfung nicht kann

Deterministische Validierung beweist, dass eine Regel strukturell oder schemabezogen tot ist, dass sie also keine Zeile zurückgeben kann oder etwas referenziert, das nicht existiert. Das Gegenteil beweist sie nicht. Eine Regel, die fehlerfrei bindet, jede Tabelle und Spalte auflöst und Zeilen liefert, kann trotzdem das Falsche erkennen, die gemeinte Technik verfehlen oder auf harmlosem Verkehr feuern. Ob die Detektionslogik zum realen Angreifer passt, entscheidet das Bedrohungsmodell, und dafür braucht es weiterhin einen Menschen, der weiß, was sich bei dieser Organisation zu stehlen lohnt und wer es wahrscheinlich versucht.

Die Schemabindung allein erfasst keine Tabellen und Felder, die existieren und leer bleiben; sie zeigen sich nur in den Daten. Dasselbe gilt für Fehler auf Wert-Ebene. Ein Filter auf "user", während die Daten "User" schreiben, ist ein Casing-Problem, das der Parser nicht sieht und das erst der Lauf gegen repräsentative Daten aufdeckt. Deterministische Validierung beseitigt eine ganze Klasse stiller Ausfälle günstig und beweisbar, ersetzt aber das Bedrohungsmodell nicht. Betreiber unter NIS2 können damit dokumentieren, dass keine ihrer geprüften Regeln an der Struktur oder am Schema scheitert. Mehr dazu steht in NIS2-Meldepflichten in der Praxis.

Zwei getrennte Fragen. „Kann diese Regel feuern?“ lässt sich deterministisch beantworten, „Erkennt diese Regel den richtigen Angriff?“ dagegen nicht. Wer beides vermischt, verkauft entweder ein Werkzeug als Bedrohungsmodell oder verzichtet auf eine billige, sichere Prüfung, weil sie nicht alles kann.