Sebagian besar perangkat lunak penuh dengan bug, dan AI kini dapat dengan mudah menemukan dan mengeksploitasinya. Pertahanan standar terhadap serangan siber tidak lagi memadai, sehingga pengembang membutuhkan cara untuk membuktikan bahwa kode bebas dari bug. Verifikasi formal perangkat lunak dapat memberikan jaminan tersebut, tetapi secara historis membutuhkan bertahun-tahun upaya ahli, sehingga tidak praktis bagi sebagian besar proyek dunia nyata.
Dalam kolaborasi dengan Theorem, para peneliti menunjukkan bahwa keadaan ini mulai berubah. LLM kini dapat menghasilkan bukti formal dalam skala besar, memungkinkan alur kerja pengembangan baru yang mencakup jaminan keamanan yang terbukti. Menggunakan Claude, tim membuktikan properti keamanan pada tingkat kode assembly (RISC-V) di lebih dari 100 pustaka perangkat lunak sumber terbuka dunia nyata. Sepengetahuan mereka, ini adalah upaya skala besar pertama yang menggunakan AI untuk menerapkan verifikasi formal pada perangkat lunak produksi di tingkat tersebut. Saat menulis bukti, Claude juga mengungkap bug yang luput dari deteksi selama bertahun-tahun meskipun telah dijalankan triliunan kali pengujian.
Pendekatan ini dibangun di atas metode yang sudah lama dikenal: pengembang menerjemahkan kode ke dalam model matematika dan berupaya membuktikan bahwa kode selalu mengikuti aturan keamanan yang telah ditetapkan. Bukti yang gagal menunjukkan kemungkinan bug. Secara tradisional, bukti bisa berkali-kali lebih besar daripada kode aslinya dan membutuhkan keahlian khusus yang langka. Membangun kernel seL4 memakan waktu dua orang-tahun, tetapi memverifikasinya memakan waktu 20.
Untuk menguji pendekatan ini, Claude membuktikan bahwa 123 program sumber terbuka akan selalu berakhir normal tanpa kesalahan keamanan memori atau assertion yang gagal, untuk setiap input di bawah 64 MB, dengan asumsi tertentu tentang lingkungan runtime. Para peneliti mengakui bahwa ini jauh dari memperbaiki semua kemungkinan bug, tetapi mereka mengatakan hal ini menawarkan peta jalan. Sebagian bukti dipublikasikan agar orang lain dapat memverifikasi dan menggunakannya kembali.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing