HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-5.6 Luna 对比 GPT-6 Astra:1.20 美元代码审查

Hacker News •
×

GPT-5.6 Luna 每百万输入 token 收费 0.20 美元,每百万输出 token 收费 1.20 美元。GPT-6 Astra 收费 10 美元和 50 美元。在相同的 pull request 上,一次 Luna 审查花费 0.0041 美元,一次 Astra 审查花费 0.113 美元,相差 28 倍。Luna 在 50 个 pull request 中发现了 69 个经验证的 bug;Astra 发现了 92 个。Luna 整个运行花费 0.20 美元,Astra 花费 5.66 美元。Luna 出错的频率更高,其 93 项发现中有 24 项未能通过验证,而 Astra 的 96 项中只有 4 项未通过,并且在 24 个安全 bug 中,Luna 只发现了 9 个,而 Astra 发现了 19 个。

我们的看法:在这个价格下,Luna 足以处理日常的正确性 bug,但我们不会让它单独审查身份验证或权限代码。

我们复用了 Astra 对比 Sol 文章中的设置。这些 pull request 是 AI-Code-Review-Evals 组织中的 50 个公开基准 PR,分别来自 Cal.com、Sentry、Discourse、Keycloak 和 Grafana,各十个。Luna 和 Astra 在相同的 diff 上收到了相同的提示。对于每个 pull request,来自 Astra、Sol、Luna 和公开的 Entelligence 审查者的评论发现都会进入一个匿名列表。GPT-6 Astra 和 GPT-5.6 Sol 分别根据 diff 对该列表进行评判。只有当两位评判者都认为某个问题真实时,它才被计为经验证。

Luna 发现的经验证 bug 数量是 Astra 的 75%,而花费仅为 3.6%。每个经验证 bug 的成本,Astra 高出 20 倍。Luna 每次审查的输出 token 数量是 Astra 的 3.1 倍,但成本仍然低得多,因为其输出价格低 42 倍。它也更快,每次审查 23 秒,而 Astra 为 36 秒。

关键实体:公司:OpenAI、Cal.com、Sentry、Discourse、Keycloak、Grafana、Entelligence

FAQ:GPT-5.6 Luna 足以进行代码审查吗?

Luna 在其价格下足以处理日常的正确性 bug,但它只发现了 24 个安全 bug 中的 9 个,并且其 93 项发现中有 24 项未能通过验证,因此不应让它单独审查身份验证或权限代码。

FAQ 问题:GPT-5.6 Luna 足以进行代码审查吗?

FAQ 回答:Luna 在其价格下足以处理日常的正确性 bug,但它只发现了 24 个安全 bug 中的 9 个,并且其 93 项发现中有 24 项未能通过验证,因此不应让它单独审查身份验证或权限代码。