Eksekusi agen pengodean AI yang lolos tes tetap bisa menyembunyikan banyak usaha yang terbuang. Dalam satu contoh, sebuah agen lolos tes pada giliran ke-4, tetapi terus bekerja hingga giliran ke-10, dan enam dari delapan baris yang diubahnya tidak diperlukan dibandingkan perbaikan referensi. Pemeriksaan lulus/gagal standar memberi nilai yang sama untuk eksekusi ini seperti untuk eksekusi yang bersih dan efisien.
Penulis mencatat bahwa agen dalam eksperimen ini bersifat simulasi. Alih-alih menjalankan agen pengodean sungguhan seperti Claude Code atau Codex, studi ini menggunakan kebijakan Python dengan seed tetap untuk mengambil keputusan, sementara repositori, suntingan, diff, eksekusi tes, dan kegagalannya nyata. Tujuannya adalah mengukur berapa banyak giliran tambahan yang dibutuhkan agen untuk mencapai patch yang lolos, berapa banyak pekerjaan itu yang diperlukan, dan apakah alur kerja di sekitarnya dapat mengurangi usaha yang tidak perlu.
Analisis ini didasarkan pada sekitar 50.000 eksekusi simulasi, termasuk pemindaian kepatuhan, pengujian aturan individual, dan rangkaian uji terpisah. Studi ini bertumpu pada SWE-bench, sebuah tolok ukur berisi 2.294 isu GitHub nyata dari 12 repositori Python, yang hanya menilai patch akhir. Dua eksekusi dapat sama-sama berhasil di sana, sementara salah satunya memakan jauh lebih banyak giliran, waktu, dan token, serta meninggalkan lebih banyak perubahan.
Artikel ini memisahkan ukuran patch akhir dari total pekerjaan, yang mencakup eksekusi tes yang gagal, perintah yang berulang, suntingan pada berkas yang keliru, dan perubahan yang dibatalkan. Tingkat lulus sama sekali mengabaikan usaha ini. Studi ini bertujuan menunjukkan berapa biaya pekerjaan tersembunyi tersebut dan bagaimana aturan harness dapat memangkasnya.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing