Benchmarking Real-SWE pada September 2026 mengevaluasi model AI terdepan pada basis kode perusahaan pribadi di dunia nyata. Setiap tugas berasal dari basis kode produksi pribadi yang dilisensikan dari perusahaan nyata, menghadirkan para insinyur dengan sistem proprietari dan masalah kritis bagi bisnis. Hasilnya mengungkapkan kesenjangan kinerja yang signifikan antar-model terdepan, dengan Claude Code mencapai tingkat resolusi tertinggi sebesar 38,8%, disusul oleh GPT-6 Astra Codex CLI sebesar 33,8% dan Gemini 3.8 Flash sebesar 31,2%.

Evaluasi ini mengukur kombinasi model dan harness, yang mengharuskan agen menavigasi konvensi proprietari dan menerapkan perubahan yang memengaruhi operasi bisnis di beberapa layanan. Tugas perusahaan nyata menuntut konteks khusus, seperti penagihan yang benar yang bergantung pada aturan bisnis dan layanan pajak eksternal. Tugasnya melibatkan perbaikan penagihan faktur agar setiap bisnis mengenakan pajak yang benar sementara pelanggan yang dikecualikan tetap tidak dikenai pajak.

Benchmark ini menyoroti bahwa tugas yang dihasilkan oleh pakar atau sintetis berbeda dari pekerjaan insinyur sebenarnya, karena baik artefak pengodean yang mendasarinya maupun spesifisitas instruksi menambah kompleksitas yang menantang model-model terdepan saat ini.