HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-5.6 Luna против GPT-6 Astra: ревью кода за $1,20

Hacker News •
×

GPT-5.6 Luna стоит $0,20 за миллион входных токенов и $1,20 за миллион выходных токенов. GPT-6 Astra стоит $10 и $50. На одних и тех же pull requests одно ревью Luna стоило $0,0041, а одно ревью Astra — $0,113, разница в 28x. Luna нашёл 69 подтверждённых багов в 50 pull requests; Astra нашёл 92. Luna стоил $0,20 за весь запуск, а Astra — $5,66. Luna ошибался чаще: 24 из его 93 находок не прошли проверку против 4 из 96 у Astra, и он нашёл 9 из 24 багов безопасности, тогда как Astra нашёл 19.

Наше мнение: Luna достаточно хорош для повседневных багов корректности по такой цене, и мы не позволили бы ему в одиночку проверять код аутентификации или разрешений.

Мы переиспользовали настройку из поста Astra против Sol. Pull requests — это 50 публичных бенчмарк-PR в организации AI-Code-Review-Evals, по десять из Cal.com, Sentry, Discourse, Keycloak и Grafana. Luna и Astra получили одинаковый промпт на одинаковых diffs. Для каждого pull request находки от Astra, Sol, Luna и комментарии публичного ревьюера Entelligence попадают в один анонимизированный список. GPT-6 Astra и GPT-5.6 Sol каждый отдельно оценивают этот список против diff. Проблема считается подтверждённой только тогда, когда оба судьи называют её реальной.

Luna нашёл 75% от числа подтверждённых багов Astra за 3,6% денег. За подтверждённый баг Astra стоил в 20x больше. Luna написал в 3,1x больше выходных токенов на ревью, чем Astra, и всё равно обошёлся гораздо дешевле, потому что его цена вывода в 42x ниже. Он также был быстрее — 23 секунды на ревью против 36.

Ключевые сущности: Компании: OpenAI, Cal.com, Sentry, Discourse, Keycloak, Grafana, Entelligence