Makalah Google baru-baru ini menunjukkan bahwa generasi tes berbasis spesifikasi meningkatkan deteksi bug sebesar 9,8 poin persentase pada sampel dari basis kode mereka. Tetapi spesifikasi mereka dibaca dari kode, yang meninggalkan setengah yang saya pedulikan tidak terselesaikan. Saya telah berargumen selama berbulan-bulan bahwa rangkaian tes yang ditulis oleh model yang sama yang menulis kode tidak dapat benar-benar tidak setuju dengannya, dan untuk mendukung klaim saya, saya telah mengembangkan pustaka Python sumber terbuka baru.
Pengujian perangkat lunak telah bergerak dalam satu arah selama dua puluh tahun, dan Pengembangan Berbasis Spesifikasi (SDD) adalah tempat gerakan itu baru-baru ini tiba. Artikel ini berargumen untuk satu langkah lagi: SDD Independen, atau ISDD. TDD mengatakan tes adalah spesifikasi. BDD adalah jawaban untuk itu. SDD adalah versi yang datang dengan agen.
Saat ini, Pengembangan Berbasis Spesifikasi membagi pekerjaan. Ia tidak membagi siapa yang memiliki pengetahuan. Spesifikasi yang sama pergi ke perencana, generator tes, dan agen pengkodean. Argumen saya adalah memotong sepanjang garis itu: berikan agen pengkodean keputusan dan tahan kriteria penerimaan, sehingga rangkaian tes dapat memberi tahu kode bahwa itu salah.
Sebuah tim di Google mengukur langkah sebelum menahan. "Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation" melakukan sesuatu yang lebih sempit dari argumen saya. Mereka pertama-tama memintanya untuk bernalar tentang kode dan menulis kontraknya. Dokumen itu menjadi perancah kognitif dan tes dihasilkan darinya. Hasilnya, pada bug produksi dari basis kode Google sendiri, menunjukkan bahwa lebih dari separuh waktu, rangkaian tes yang dihasilkan...
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing