HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-5.6 Luna vs GPT-6 Astra: Revisão de código de $1,20

Hacker News •
×

GPT-5.6 Luna custa $0,20 por milhão de tokens de entrada e $1,20 por milhão de tokens de saída. GPT-6 Astra custa $10 e $50. Nos mesmos pull requests, uma revisão do Luna custou $0,0041 e uma revisão do Astra custou $0,113, uma diferença de 28x. Luna encontrou 69 bugs verificados em 50 pull requests; Astra encontrou 92. Luna custou $0,20 pela execução inteira e Astra custou $5,66. Luna errou com mais frequência, com 24 de suas 93 descobertas falhando na verificação contra 4 de 96 do Astra, e encontrou 9 dos 24 bugs de segurança onde Astra encontrou 19.

Nossa leitura: Luna é bom o suficiente para bugs de correção do dia a dia nesse preço, e não o deixaríamos revisar código de autenticação ou permissão sozinho.

Reutilizamos a configuração do post Astra vs Sol. Os pull requests são os 50 PRs de benchmark públicos na organização AI-Code-Review-Evals, dez de cada de Cal.com, Sentry, Discourse, Keycloak e Grafana. Luna e Astra receberam o mesmo prompt nos mesmos diffs. Para cada pull request, as descobertas do Astra, Sol, Luna e os comentários do revisor público Entelligence vão para uma lista anonimizada. GPT-6 Astra e GPT-5.6 Sol julgam essa lista separadamente contra o diff. Um problema só conta como verificado quando ambos os juízes o consideram real.

Luna encontrou 75% tantos bugs verificados quanto Astra por 3,6% do dinheiro. Por bug verificado, Astra custou 20x mais. Luna escreveu 3,1x mais tokens de saída por revisão que Astra e ainda assim saiu muito mais barato, porque seu preço de saída é 42x menor. Também foi mais rápido, com 23 segundos por revisão contra 36.

Entidades-chave: Empresas: OpenAI, Cal.com, Sentry, Discourse, Keycloak, Grafana, Entelligence