Benchmark pemrograman AI yang ada mengukur tingkat penyelesaian dan biaya token, tetapi tidak memberi penalti pada kode berlebih, sehingga basis kode menjadi lebih sulit dipelihara dalam jangka panjang. Parsimony dibuat untuk mengukur seberapa banyak kode yang ditambahkan model AI, faktor yang paling penting bagi proyek jangka panjang.
Alat ini mengambil patch yang telah dipublikasikan oleh benchmark mapan, termasuk DeepSWE, SWE-bench Verified, dan SWE-bench Live, lalu menghitung unit kode. Unit ini adalah elemen sintaksis seperti pernyataan, pemanggilan, perbandingan, nama, dan literal. Baris kode tidak dihitung, jadi memadatkan kode tidak mendapat imbalan, dan kode yang dihapus dikurangkan, menghasilkan angka bersih dari unit yang ditambahkan dikurangi unit yang dihapus.
Model diurutkan berdasarkan rata-rata unit bersih yang ditambahkan pada tugas yang berhasil diselesaikan, dari yang terendah. Rata-rata ini juga mencakup percobaan yang gagal. Status penyelesaian berasal dari SWE-bench Verified, dan tes tidak dijalankan ulang. Setiap patch diterapkan pada kode tugas dan kedua versi setiap berkas yang diubah diurai. Tidak ada yang dieksekusi, dan tes, dokumentasi, serta berkas hasil generasi dikecualikan. Saat ini hanya Python yang diukur.
Penulis mencatat keterbatasannya. Lebih kecil tidak selalu lebih baik, karena unit mengukur ukuran, bukan keterbacaan atau desain. Model yang menulis lebih banyak kode cenderung juga menyelesaikan lebih banyak tugas, dengan korelasi Spearman 0,33 hingga 0,60 pada papan dengan 26 model atau lebih. Semua model menggunakan agen yang sama, mini-SWE-agent, yang tetap memengaruhi seberapa banyak kode yang ditulis. Pengguna dapat menambahkan data benchmark mereka sendiri melalui berkas contoh yang dapat diunduh dan tetap tersimpan di peramban.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing