HeadlinesBriefing favicon HeadlinesBriefing.com

Memoria LLM como Datalog: Investigación Vulnerabilidades

Hacker News •
×

Durante meses de investigación de vulnerabilidades, descubrí que los agentes LLM pierden el rastro de hechos establecidos durante investigaciones largas, causando alucinaciones. Los almacenes de memoria tradicionales guardan transcripciones antiguas pero no mantienen el estado actual del conocimiento. Quería que los LLM actualizaran conclusiones automáticamente cuando los hechos cambian, como en análisis de programas donde reglas derivan nuevos hechos y solo los resultados afectados necesitan actualización.

Esto me llevó a construir un motor Datalog para LLMs. Datalog es un lenguaje lógico declarativo donde hechos y reglas derivan nuevos hechos; si un hecho de entrada cambia, solo las conclusiones dependientes se invalidan en lugar de reiniciar desde cero. Implementé esto tras observar que el atacante controla object_a, object_a apunta a object_b, y object_b es un objeto del kernel, permitiendo control del atacante sobre un objeto del kernel. Más tarde, descubrir que object_a no apunta a object_b invalidó conclusiones previas.

Mantener una base de conocimiento dinámica resulta familiar al análisis de programas, donde puntos fijos calculan hechos derivables y actualizaciones incrementales optimizan rendimiento. Este enfoque promete asistencia LLM más fiable en desarrollo de exploits complejos al preservar solo estado actual válido en lugar de reconstruir historial repetidamente.