HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-5.6 Luna vs. GPT-6 Astra: 1,20 $ Code-Review

Hacker News •
×

GPT-5.6 Luna kostet 0,20 $ pro Million Eingabe-Token und 1,20 $ pro Million Ausgabe-Token. GPT-6 Astra kostet 10 $ und 50 $. Bei denselben Pull Requests kostete ein Luna-Review 0,0041 $ und ein Astra-Review 0,113 $, ein Unterschied von 28x. Luna fand 69 verifizierte Bugs in 50 Pull Requests; Astra fand 92. Luna kostete 0,20 $ für den gesamten Lauf und Astra kostete 5,66 $. Luna lag häufiger falsch, wobei 24 seiner 93 Funde die Verifizierung nicht bestanden, gegenüber 4 von 96 bei Astra, und er fand 9 der 24 Sicherheitsbugs, während Astra 19 fand.

Unsere Einschätzung: Luna ist für alltägliche Korrektheits-Bugs zu diesem Preis gut genug, und wir würden ihn nicht allein Authentifizierungs- oder Berechtigungscode überprüfen lassen.

Wir haben das Setup aus dem Astra-vs-Sol-Beitrag wiederverwendet. Die Pull Requests sind die 50 öffentlichen Benchmark-PRs in der Organisation AI-Code-Review-Evals, je zehn von Cal.com, Sentry, Discourse, Keycloak und Grafana. Luna und Astra erhielten denselben Prompt auf denselben Diffs. Für jeden Pull Request gehen die Funde von Astra, Sol, Luna und die Kommentare des öffentlichen Entelligence-Reviewers in eine anonymisierte Liste. GPT-6 Astra und GPT-5.6 Sol bewerten diese Liste jeweils separat gegen den Diff. Ein Problem zählt nur dann als verifiziert, wenn beide Juroren es als echt bezeichnen.

Luna fand 75 % so viele verifizierte Bugs wie Astra für 3,6 % des Geldes. Pro verifiziertem Bug kostete Astra 20x mehr. Luna schrieb 3,1x so viele Ausgabe-Token pro Review wie Astra und war trotzdem weit günstiger, weil sein Ausgabepreis 42x niedriger ist. Er war auch schneller, mit 23 Sekunden pro Review gegenüber 36.

Wichtige Entitäten: Unternehmen: OpenAI, Cal.com, Sentry, Discourse, Keycloak, Grafana, Entelligence