HeadlinesBriefing favicon HeadlinesBriefing.com

Память LLM как Datalog: исследование уязвимостей

Hacker News •
×

За месяцы исследования уязвимостей я обнаружил, что агенты LLM теряют отслеживание установленных фактов во время длительных расследований, вызывая галлюцинации. Традиционные хранилища памяти сохраняют старые транскрипты, но не поддерживают текущее состояние знаний. Я хотел, чтобы LLM автоматически обновляли выводы при изменении фактов, как в анализе программ, где правила выводят новые факты, и нужно обновлять только затронутые результаты. Это привело меня к созданию движка Datalog для LLM. Datalog — это декларативный логический язык, где факты и правила выводят новые факты; если входной факт меняется, аннулируются только зависимые выводы вместо перезапуска с нуля. Я реализовал это после наблюдения, что атакующий контролирует object_a, object_a указывает на object_b, и object_b является объектом ядра, позволяя атакующему контролировать объект ядра. Позже обнаружение того, что object_a не указывает на object_b, отменило предыдущие выводы. Поддержание динамической базы знаний напоминает анализ программ, где неподвижные точки вычисляют выводимые факты, а инкрементальные обновления оптимизируют производительность. Этот подход обещает более надежную помощь LLM в разработке сложных эксплойтов, сохраняя только валидное текущее состояние вместо повторной реконструкции истории.