Asisten coding Anda melaporkan bahwa semua tes lolos. Build berwarna hijau, jadi Anda menggabungkan pull request dan kembali ke daftar pekerjaan. Tiga minggu kemudian, sebuah masalah muncul, tetapi agen tidak tersedia untuk membantu. Mungkin kuota API Anda sudah habis, atau Anda terjebak di kereta komuter tanpa sinyal. Kode itu sekarang milik Anda, dan ada sesuatu yang rusak. Apakah Anda benar-benar bisa memperbaikinya?
Pertanyaan itulah inti masalah dalam proyek CodeOwnership. Dalam praktiknya, kepemilikan lebih dari sekadar nama Anda tercantum pada sebuah commit. Anda benar-benar memiliki kode hanya jika Anda dapat menelusuri logikanya dan memperbaikinya sepenuhnya tanpa bantuan. Tes yang lolos hanya menunjukkan bahwa perangkat lunak berfungsi di hari yang baik, tetapi tidak membuktikan bahwa Anda memahaminya. Pembahasan ini hanya menyangkut pemeliharaan, bukan lisensi atau hak cipta.
Penulis membangun CodeOwnership, sebuah proyek percobaan ringan, untuk menguji titik buta ini. Sebuah agen AI menulis fitur, dan pengembang mencatat penilaian jujur tentang seberapa baik ia memahaminya. Agen kedua kemudian memasukkan satu bug yang telah didaftarkan sebelumnya. Pengembang membuka laporan insiden dengan semua alat AI dimatikan dan mencoba menemukan cacat tersebut.
Kerangka pengujian telah selesai, mencakup spesifikasi yang dikunci, tes yang terlihat dan tersembunyi, pemeriksaan verifikasi bug secara buta, CLI terpandu, serta alat laporan yang menghindari satu skor gabungan. Dalam uji coba pertama, penulis menilai kepercayaan dirinya 4 dari 5, lalu menghentikan timer pada 8 menit 12 detik tanpa menemukan bug tersebut. Sekitar 30 menit kemudian pada sesi berikutnya, bug berhasil ditemukan, tetapi skrip tetap mencatat status NOT FIXED karena belum ada perbaikan yang diterapkan.
Ini hanyalah hasil satu pengembang dalam satu kali percobaan, bukan tolok ukur industri. Hasil ini menunjukkan cara kerja kerangka tersebut, bagian yang gagal, serta seperti apa tes realistis untuk pemahaman kode.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing