Über Monate der Schwachstellenforschung stellte ich fest, dass LLM-Agenten bei langen Untersuchungen den Überblick über etablierte Fakten verlieren, was Halluzinationen verursacht. Traditionelle Speicher speichern alte Transkripte, erhalten aber nicht den aktuellen Wissensstand. Ich wollte, dass LLMs Schlussfolgerungen automatisch aktualisieren, wenn sich Fakten ändern, wie bei der Programmanalyse, wo Regeln neue Fakten ableiten und nur betroffene Ergebnisse aktualisiert werden müssen.

Dies führte mich zum Bau einer Datalog-Engine für LLMs. Datalog ist eine deklarative Logiksprache, in der Fakten und Regeln neue Fakten ableiten; ändert sich ein Eingabefakt, werden nur abhängige Schlussfolgerungen ungültig statt von vorne zu beginnen. Ich implementierte dies, nachdem ich beobachtete, dass der Angreifer object_a kontrolliert, object_a auf object_b zeigt und object_b ein Kernelobjekt ist, was dem Angreifer Kontrolle über ein Kernelobjekt ermöglicht. Später stellte sich heraus, dass object_a nicht auf object_b zeigt, was frühere Schlussfolgerungen ungültig machte.

Die Pflege einer dynamischen Wissensbasis erinnert an Programmanalyse, wo Fixpunkte ableitbare Fakten berechnen und inkrementelle Updates die Leistung optimieren. Dieser Ansatz verspricht zuverlässigere LLM-Unterstützung bei komplexer Exploit-Entwicklung, indem nur der gültige aktuelle Zustand erhalten bleibt statt die Geschichte wiederholt zu rekonstruieren.