Die Query zu erzeugen ist der leichte Teil

Detection Engineering mit LLMs funktioniert, nur liegt die Arbeit woanders, als die Demos nahelegen. Natürlichsprachliche Absicht in eine KQL-Query zu übersetzen lässt sich im Meeting gut vorführen und ist doch der kleinere und leichtere Teil. Ein fähiges Modell kennt die Kusto-Grammatik und liefert für die meisten Detection-Ideen mit wenig Prompting eine syntaktisch fehlerfreie Query. Der größere und härtere Teil ist das Vertrauen: Sie müssen wissen, dass die Query auf Ihren Logs tut, was der Satz gesagt hat, bevor Sie sie scharf schalten. Eine Detection behauptet etwas über Ihre Daten, das wahr oder falsch ist, und eine falsche Behauptung kostet asymmetrisch und zeitverzögert.

Der leichte und der schwere Teil. Eine Detection-Query zu schreiben ist der kleinere Teil der Arbeit. Der größere ist der Beweis, dass die Query korrekt ist, bevor sie etwas absichert; dort liegen Wert und Risiko. Ohne diesen Beweis liefert mehr Tempo nur schneller falsche Regeln.

Eine plausible falsche Regel ist schlimmer als keine

Eine subtil falsche Detection ist gefährlicher als keine, weil sie in beide Richtungen leise versagt. Ist sie zu eng, verpasst sie den Angriff, und der übersehene Treffer erzeugt weder Fehler noch Alarm noch sonst ein Zeichen, dass etwas kaputt ist. Sie entdecken die Lücke im Incident-Review, falls überhaupt. Ist sie zu breit, feuert sie auf harmlosem Verkehr und erzeugt hunderte Fehlalarme, bis der Analyst, der sie triagieren muss, die Alarme dieser Regel reflexartig wegklickt. Eine laute Regel kostet Zeit und gewöhnt ein SOC daran, eine ganze Alarmkategorie zu ignorieren, sodass ein echter Alarm durchrutscht.

In beiden Fällen macht die plausible Query Sie unsicherer und sieht dabei aus, als mache sie Sie sicherer. LLMs schreiben mühelos Ausgaben, die korrekt aussehen, und in der Detection können „sieht korrekt aus“ und „ist korrekt“ monatelang auseinanderlaufen, ohne dass es jemand merkt. Der Generator ist selbst eine LLM-Anwendung, die sicherheitsrelevante Absicht verarbeitet, und wirft damit dieselben Härtungsfragen auf wie jedes LLM-System mit nicht vertrauenswürdiger Eingabe. Schwerer als die Prompt-Oberfläche wiegt, dass ein Sprachmodell im Normalfall selbstbewusst und flüssig irrt, und das können Sie sich bei einer Detection nicht leisten.

Wo LLM-geschriebene Detections scheitern

Die Fehler häufen sich an wenigen vorhersagbaren Stellen, und die Prüfschleife setzt an diesen Stellen an.

Halluzinierte Tabellen und Felder

Das Modell referenziert eine Spalte, die nicht existiert, etwa SourceIP, während Ihre Tabelle sie IPAddress nennt, oder ein EventID-Feld auf einer Tabelle, die nie eines trug. Kompiliert die Query deshalb nicht, haben Sie Glück, denn der Fehler ist laut und leicht zu fangen. Gefährlich wird eine Spalte, die existiert, in Ihrer Umgebung aber fast immer leer bleibt, oder eine Tabelle, die ein subtil anderes Ereignis enthält, als das Modell annahm. Die Query kompiliert, läuft, liefert nichts zurück und liest sich als „keine passende Aktivität“, sodass sie sich von einer gesunden Detection an einem ruhigen Tag nicht unterscheiden lässt. Ein cleverer Prompt löst das nicht. Sie verankern die Generierung im echten Workspace-Schema und bestätigen danach, dass sich jede Tabelle und jedes Feld dagegen auflösen lässt.

Zeitfenster, die um eins danebenliegen

Detections rechnen mit Zeit: „N Ereignisse innerhalb von M Minuten“, „zum ersten Mal in den letzten 24 Stunden gesehen“, „ein Ausschlag gegenüber dem Ist-Wert der Vorwoche“. An diesen Stellen liegt eine plausible Schätzung daneben. Ein Rückblick, der nicht zur Ausführungsfrequenz der Regel passt, lässt zwischen den Läufen Lücken, durch die ein Ausbruch schlüpft. Eine Fenstergrenze, die mitten im Angriff zurücksetzt, zählt fünf fehlgeschlagene Anmeldungen als drei-dann-zwei und erreicht die Schwelle nie. Ein ago() rechnet immer vom Ausführungszeitpunkt zurück; kommen Ereignisse verspätet im Workspace an, liegen sie bei knapp bemessenem Rückblick schon außerhalb des Fensters. Im Query-Text sieht nichts davon falsch aus. Der Fehler zeigt sich erst, wenn Sie die Regel gegen einen bekannten Angriff laufen lassen, der eine Grenze überspannt, und sie stumm bleibt.

Zu breite Treffer

Am häufigsten macht ein zu breiter Zuschnitt eine erzeugte Regel unbrauchbar. Sie nutzt ein contains, wo Sie einen exakten Vergleich brauchten, trifft auf einen Prozessnamen, den auch legitime Admin-Werkzeuge nutzen, oder prüft ein EventID ohne Filter auf die Konten oder Hosts, die es erst aussagekräftig machen. Sie feuert pausenlos, die Queue läuft über, und jemand schaltet die Regel stumm. Danach erkennt sie so wenig wie eine nie geschriebene Regel und hat mehr gekostet, denn sie hat Aufmerksamkeit verbraucht, die knappste Ressource eines SOC.

Generieren, prüfen, verfeinern

Die Architektur „Prompt → Query“ reicht deshalb nicht; es braucht eine Schleife mit unabhängigen Prüfungen. So ist das Multi-Agenten-System aufgebaut, das wir für BLUEROPE Consult GmbH gebaut haben. Es übersetzt natürlichsprachliche Absicht in validierte Sentinel-Detections und bringt die Query-Entwicklung von Tagen auf Minuten. Die Schleife sorgt dafür, dass dieses Tempo sicher bleibt.

Generieren Entwurf aus Absicht Prüfen Schema + Lauf auf Daten Adversarial Lücke? Fehlalarm? Live übersteht → Deploy verfeinern, bis sie übersteht
Nur eine Query, die alle drei Prüfungen übersteht, geht live. Der Prüfer löst jede Tabelle und jedes Feld gegen das echte Workspace-Schema auf und führt den Entwurf gegen bekannt-gutartige und bekannt-bösartige Ereignisse aus. So fängt er eine Regel, die richtig aussieht, aber nichts oder alles zurückgibt, bevor sie die Produktion absichert.

Ein Agent generiert. Er entwirft KQL aus der Absicht und verankert es im echten Workspace-Schema statt in der Erinnerung des Modells daran, wie Sentinel-Tabellen üblicherweise aussehen. Das verhindert die meisten halluzinierten Felder. Ein zweiter Agent prüft. Er parst die Query, löst jede Tabelle und Spalte gegen das tatsächliche Schema auf und führt sie gegen repräsentative Beispieldaten aus, darunter bekannt bösartige und bekannt gutartige Ereignisse; dieser Lauf leistet den Hauptteil der Arbeit. Bleibt eine Regel bei den bekannt bösartigen Ereignissen stumm oder feuert sie bei den bekannt gutartigen, fällt sie durch einen Test, den das Lesen der Query nicht ersetzt. Ein dritter Agent arbeitet adversarial. Er fragt wie ein guter Detection Engineer, „Wie würde ein Angreifer das umgehen, und welche harmlose Aktivität würde es auslösen?“, und übersetzt die Antworten in Verfeinerungsanweisungen. Der Entwurf durchläuft die Schleife, bis er alle drei übersteht. Gelingt das nicht, eskaliert das System an einen Menschen, statt still etwas Kaputtes auszuliefern.

Mehrere Agenten lohnen sich, weil sie unabhängig voneinander prüfen. Die Schleife prüft die Generierung gegen etwas, mit dem der Generator nicht diskutieren kann: eine Grammatik, ein Schema und vor allem die Grundwahrheit in den Daten. Aus demselben Grund macht man auch in anderem Kontext kein Modell zum alleinigen Richter über seine eigene Arbeit. Detection Engineering passt ungewöhnlich gut zu diesem Muster, weil alle drei Prüfungen existieren: Das Ziel ist eine strukturierte Sprache mit Grammatik, die Ausgabe ist ausführbar, und Sie haben gelabelte Daten, gegen die Sie sie laufen lassen. Ohne die Schleife bleibt ein schneller Weg, selbstbewusste, unprüfbare Vermutungen über Ihre Sicherheitslage zu erzeugen.

Was ich nicht ausliefern würde. Keine erzeugte Detection geht allein auf das grüne Licht des Modells hin automatisch live. Jede Regel läuft zuerst im reinen Log-Modus (Schattenbetrieb) gegen Echtdaten, und ein Mensch gibt sie frei, bevor sie einen echten Alarm auslösen darf. Der Agent, der eine Query schreibt, richtet außerdem nie allein über sie; die Schleife existiert, um sie unabhängig gegen echte Daten zu prüfen.

Wo der Detection Engineer in der Schleife bleibt

Die Schleife ersetzt keinen Detection Engineer, sie verändert, womit er den Tag verbringt. Sie nimmt ihm den Boilerplate ab, also die KQL-Syntax, die Schema-Nachschläge und die ersten drei kaputten Entwürfe, und er verwendet seine Zeit auf die Teile, die ein Modell nicht kann. Der erste ist das Bedrohungsmodell, die Entscheidung, was sich zu erkennen lohnt und gegen welchen Angreifer, gemessen an dem, was diese Organisation Stehlenswertes hat. Ein Modell kennt weder Ihre Kronjuwelen noch die Angreifer, die wahrscheinlich danach greifen. Der zweite ist das Tuning. Was als normales Rauschen zählt, ist lokales Wissen, und eine Regel, die für ein Unternehmen gut kalibriert ist, überflutet ein anderes. Eine Regel altert außerdem: Eine vor sechs Monaten getunte Detection wirft nach einer Infrastrukturänderung Fehlalarme, und das ist ein Monitoring-Problem und kein Generierungsproblem. Der dritte ist die Freigabe. Jemand mit Verantwortung muss entscheiden, dass die Regel gut genug ist, um die Produktion zu bewachen, denn „die Agenten haben zugestimmt“ möchten Sie nach einem Vorfall nicht sagen müssen.