Die Query zu erzeugen ist der leichte Teil
Detection Engineering mit LLMs funktioniert, nur liegt die Arbeit woanders, als die Demos nahelegen. Natürlichsprachliche Absicht in eine KQL-Query zu übersetzen lässt sich im Meeting gut vorführen und ist doch der kleinere und leichtere Teil. Ein fähiges Modell kennt die Kusto-Grammatik und liefert für die meisten Detection-Ideen mit wenig Prompting eine syntaktisch fehlerfreie Query. Der größere und härtere Teil ist das Vertrauen: Sie müssen wissen, dass die Query auf Ihren Logs tut, was der Satz gesagt hat, bevor Sie sie scharf schalten. Eine Detection behauptet etwas über Ihre Daten, das wahr oder falsch ist, und eine falsche Behauptung kostet asymmetrisch und zeitverzögert.
Eine plausible falsche Regel ist schlimmer als keine
Eine subtil falsche Detection ist gefährlicher als keine, weil sie in beide Richtungen leise versagt. Ist sie zu eng, verpasst sie den Angriff, und der übersehene Treffer erzeugt weder Fehler noch Alarm noch sonst ein Zeichen, dass etwas kaputt ist. Sie entdecken die Lücke im Incident-Review, falls überhaupt. Ist sie zu breit, feuert sie auf harmlosem Verkehr und erzeugt hunderte Fehlalarme, bis der Analyst, der sie triagieren muss, die Alarme dieser Regel reflexartig wegklickt. Eine laute Regel kostet Zeit und gewöhnt ein SOC daran, eine ganze Alarmkategorie zu ignorieren, sodass ein echter Alarm durchrutscht.
In beiden Fällen macht die plausible Query Sie unsicherer und sieht dabei aus, als mache sie Sie sicherer. LLMs schreiben mühelos Ausgaben, die korrekt aussehen, und in der Detection können „sieht korrekt aus“ und „ist korrekt“ monatelang auseinanderlaufen, ohne dass es jemand merkt. Der Generator ist selbst eine LLM-Anwendung, die sicherheitsrelevante Absicht verarbeitet, und wirft damit dieselben Härtungsfragen auf wie jedes LLM-System mit nicht vertrauenswürdiger Eingabe. Schwerer als die Prompt-Oberfläche wiegt, dass ein Sprachmodell im Normalfall selbstbewusst und flüssig irrt, und das können Sie sich bei einer Detection nicht leisten.
Wo LLM-geschriebene Detections scheitern
Die Fehler häufen sich an wenigen vorhersagbaren Stellen, und die Prüfschleife setzt an diesen Stellen an.
Halluzinierte Tabellen und Felder
Das Modell referenziert eine Spalte, die nicht existiert, etwa SourceIP, während Ihre Tabelle sie IPAddress nennt, oder ein EventID-Feld auf einer Tabelle, die nie eines trug. Kompiliert die Query deshalb nicht, haben Sie Glück, denn der Fehler ist laut und leicht zu fangen. Gefährlich wird eine Spalte, die existiert, in Ihrer Umgebung aber fast immer leer bleibt, oder eine Tabelle, die ein subtil anderes Ereignis enthält, als das Modell annahm. Die Query kompiliert, läuft, liefert nichts zurück und liest sich als „keine passende Aktivität“, sodass sie sich von einer gesunden Detection an einem ruhigen Tag nicht unterscheiden lässt. Ein cleverer Prompt löst das nicht. Sie verankern die Generierung im echten Workspace-Schema und bestätigen danach, dass sich jede Tabelle und jedes Feld dagegen auflösen lässt.
Zeitfenster, die um eins danebenliegen
Detections rechnen mit Zeit: „N Ereignisse innerhalb von M Minuten“, „zum ersten Mal in den letzten 24 Stunden gesehen“, „ein Ausschlag gegenüber dem Ist-Wert der Vorwoche“. An diesen Stellen liegt eine plausible Schätzung daneben. Ein Rückblick, der nicht zur Ausführungsfrequenz der Regel passt, lässt zwischen den Läufen Lücken, durch die ein Ausbruch schlüpft. Eine Fenstergrenze, die mitten im Angriff zurücksetzt, zählt fünf fehlgeschlagene Anmeldungen als drei-dann-zwei und erreicht die Schwelle nie. Ein ago() rechnet immer vom Ausführungszeitpunkt zurück; kommen Ereignisse verspätet im Workspace an, liegen sie bei knapp bemessenem Rückblick schon außerhalb des Fensters. Im Query-Text sieht nichts davon falsch aus. Der Fehler zeigt sich erst, wenn Sie die Regel gegen einen bekannten Angriff laufen lassen, der eine Grenze überspannt, und sie stumm bleibt.
Zu breite Treffer
Am häufigsten macht ein zu breiter Zuschnitt eine erzeugte Regel unbrauchbar. Sie nutzt ein contains, wo Sie einen exakten Vergleich brauchten, trifft auf einen Prozessnamen, den auch legitime Admin-Werkzeuge nutzen, oder prüft ein EventID ohne Filter auf die Konten oder Hosts, die es erst aussagekräftig machen. Sie feuert pausenlos, die Queue läuft über, und jemand schaltet die Regel stumm. Danach erkennt sie so wenig wie eine nie geschriebene Regel und hat mehr gekostet, denn sie hat Aufmerksamkeit verbraucht, die knappste Ressource eines SOC.
Generieren, prüfen, verfeinern
Die Architektur „Prompt → Query“ reicht deshalb nicht; es braucht eine Schleife mit unabhängigen Prüfungen. So ist das Multi-Agenten-System aufgebaut, das wir für BLUEROPE Consult GmbH gebaut haben. Es übersetzt natürlichsprachliche Absicht in validierte Sentinel-Detections und bringt die Query-Entwicklung von Tagen auf Minuten. Die Schleife sorgt dafür, dass dieses Tempo sicher bleibt.
Ein Agent generiert. Er entwirft KQL aus der Absicht und verankert es im echten Workspace-Schema statt in der Erinnerung des Modells daran, wie Sentinel-Tabellen üblicherweise aussehen. Das verhindert die meisten halluzinierten Felder. Ein zweiter Agent prüft. Er parst die Query, löst jede Tabelle und Spalte gegen das tatsächliche Schema auf und führt sie gegen repräsentative Beispieldaten aus, darunter bekannt bösartige und bekannt gutartige Ereignisse; dieser Lauf leistet den Hauptteil der Arbeit. Bleibt eine Regel bei den bekannt bösartigen Ereignissen stumm oder feuert sie bei den bekannt gutartigen, fällt sie durch einen Test, den das Lesen der Query nicht ersetzt. Ein dritter Agent arbeitet adversarial. Er fragt wie ein guter Detection Engineer, „Wie würde ein Angreifer das umgehen, und welche harmlose Aktivität würde es auslösen?“, und übersetzt die Antworten in Verfeinerungsanweisungen. Der Entwurf durchläuft die Schleife, bis er alle drei übersteht. Gelingt das nicht, eskaliert das System an einen Menschen, statt still etwas Kaputtes auszuliefern.
Mehrere Agenten lohnen sich, weil sie unabhängig voneinander prüfen. Die Schleife prüft die Generierung gegen etwas, mit dem der Generator nicht diskutieren kann: eine Grammatik, ein Schema und vor allem die Grundwahrheit in den Daten. Aus demselben Grund macht man auch in anderem Kontext kein Modell zum alleinigen Richter über seine eigene Arbeit. Detection Engineering passt ungewöhnlich gut zu diesem Muster, weil alle drei Prüfungen existieren: Das Ziel ist eine strukturierte Sprache mit Grammatik, die Ausgabe ist ausführbar, und Sie haben gelabelte Daten, gegen die Sie sie laufen lassen. Ohne die Schleife bleibt ein schneller Weg, selbstbewusste, unprüfbare Vermutungen über Ihre Sicherheitslage zu erzeugen.
Wo der Detection Engineer in der Schleife bleibt
Die Schleife ersetzt keinen Detection Engineer, sie verändert, womit er den Tag verbringt. Sie nimmt ihm den Boilerplate ab, also die KQL-Syntax, die Schema-Nachschläge und die ersten drei kaputten Entwürfe, und er verwendet seine Zeit auf die Teile, die ein Modell nicht kann. Der erste ist das Bedrohungsmodell, die Entscheidung, was sich zu erkennen lohnt und gegen welchen Angreifer, gemessen an dem, was diese Organisation Stehlenswertes hat. Ein Modell kennt weder Ihre Kronjuwelen noch die Angreifer, die wahrscheinlich danach greifen. Der zweite ist das Tuning. Was als normales Rauschen zählt, ist lokales Wissen, und eine Regel, die für ein Unternehmen gut kalibriert ist, überflutet ein anderes. Eine Regel altert außerdem: Eine vor sechs Monaten getunte Detection wirft nach einer Infrastrukturänderung Fehlalarme, und das ist ein Monitoring-Problem und kein Generierungsproblem. Der dritte ist die Freigabe. Jemand mit Verantwortung muss entscheiden, dass die Regel gut genug ist, um die Produktion zu bewachen, denn „die Agenten haben zugestimmt“ möchten Sie nach einem Vorfall nicht sagen müssen.