Ao longo de meses de pesquisa de vulnerabilidades, descobri que agentes LLM perdem o rastro de fatos estabelecidos durante investigações longas, causando alucinações. Armazenamentos de memória tradicionais guardam transcrições antigas mas não mantêm o estado atual do conhecimento. Eu queria que LLMs atualizassem conclusões automaticamente quando fatos mudam, como em análise de programas onde regras derivam novos fatos e apenas resultados afetados precisam de atualização.

Isso me levou a construir um motor Datalog para LLMs. Datalog é uma linguagem lógica declarativa onde fatos e regras derivam novos fatos; se um fato de entrada muda, apenas conclusões dependentes são invalidadas em vez de reiniciar do zero. Implementei isso após observar que o atacante controla object_a, object_a aponta para object_b, e object_b é um objeto do kernel, permitindo controle do atacante sobre um objeto do kernel. Mais tarde, descobrir que object_a não aponta para object_b invalidou conclusões anteriores.

Manter uma base de conhecimento dinâmica é familiar à análise de programas, onde pontos fixos calculam fatos deriváveis e atualizações incrementais otimizam performance. Esta abordagem promete assistência LLM mais confiável em desenvolvimento de exploits complexos ao preservar apenas estado atual válido em vez de reconstruir histórico repetidamente.