Selama berbulan-bulan penelitian kerentanan, saya menemukan bahwa agen LLM kehilangan jejak fakta yang sudah ditetapkan selama investigasi panjang, menyebabkan halusinasi. Penyimpanan memori tradisional menyimpan transkrip lama tetapi tidak mempertahankan status pengetahuan saat ini. Saya ingin LLM memperbarui kesimpulan secara otomatis ketika fakta berubah, seperti analisis program di mana aturan menurunkan fakta baru dan hanya hasil yang terpengaruh yang perlu diperbarui.

Hal ini membawa saya membangun mesin Datalog untuk LLM. Datalog adalah bahasa logika deklaratif di mana fakta dan aturan menurunkan fakta baru; jika fakta masukan berubah, hanya kesimpulan yang bergantung yang dibatalkan alih-alih memulai dari nol. Saya mengimplementasikan ini setelah mengamati bahwa penyerang mengontrol object_a, object_a menunjuk ke object_b, dan object_b adalah objek kernel, memungkinkan penyerang mengontrol objek kernel.

Kemudian, menemukan bahwa object_a tidak menunjuk ke object_b membatalkan kesimpulan sebelumnya. Mempertahankan basis pengetahuan dinamis terasa familiar dengan analisis program, di mana titik tetap menghitung fakta yang dapat diturunkan dan pembaruan inkremental mengoptimalkan performa. Pendekatan ini menjanjikan bantuan LLM yang lebih andal dalam pengembangan eksploit kompleks dengan mempertahankan hanya status saat ini yang valid alih-alih merekonstruksi sejarah berulang kali.