HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-5.6 Luna vs GPT-6 Astra: Tinjauan Kode $1,20

Hacker News •
×

GPT-5.6 Luna berbiaya $0,20 per juta token input dan $1,20 per juta token output. GPT-6 Astra berbiaya $10 dan $50. Pada pull request yang sama, satu tinjauan Luna berbiaya $0,0041 dan satu tinjauan Astra berbiaya $0,113, selisih 28x. Luna menemukan 69 bug terverifikasi di 50 pull request; Astra menemukan 92. Luna berbiaya $0,20 untuk seluruh proses dan Astra berbiaya $5,66. Luna lebih sering salah, dengan 24 dari 93 temuannya gagal verifikasi dibandingkan 4 dari 96 milik Astra, dan ia menemukan 9 dari 24 bug keamanan di mana Astra menemukan 19.

Pandangan kami: Luna cukup baik untuk bug kebenaran sehari-hari pada harga itu, dan kami tidak akan membiarkannya meninjau kode autentikasi atau izin sendirian.

Kami menggunakan kembali pengaturan dari pos Astra vs Sol. Pull request adalah 50 PR benchmark publik di organisasi AI-Code-Review-Evals, masing-masing sepuluh dari Cal.com, Sentry, Discourse, Keycloak dan Grafana. Luna dan Astra mendapat prompt yang sama pada diff yang sama. Untuk setiap pull request, temuan dari Astra, Sol, Luna dan komentar reviewer publik Entelligence masuk ke satu daftar anonim. GPT-6 Astra dan GPT-5.6 Sol masing-masing menilai daftar itu secara terpisah terhadap diff. Suatu masalah hanya dihitung sebagai terverifikasi ketika kedua juri menyebutnya nyata.

Luna menemukan 75% sebanyak bug terverifikasi Astra dengan 3,6% biaya. Per bug terverifikasi, Astra berbiaya 20x lebih banyak. Luna menulis 3,1x lebih banyak token output per tinjauan daripada Astra dan tetap jauh lebih murah, karena harga outputnya 42x lebih rendah. Ia juga lebih cepat, 23 detik per tinjauan dibandingkan 36.

Entitas Kunci: Perusahaan: OpenAI, Cal.com, Sentry, Discourse, Keycloak, Grafana, Entelligence