HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-5.6 Luna बनाम GPT-6 Astra: $1.20 कोड समीक्षा

Hacker News •
×

GPT-5.6 Luna प्रति मिलियन इनपुट टोकन $0.20 और प्रति मिलियन आउटपुट टोकन $1.20 का खर्च आता है। GPT-6 Astra $10 और $50 का खर्च आता है। समान pull requests पर, एक Luna समीक्षा की लागत $0.0041 थी और एक Astra समीक्षा की लागत $0.113 थी, जो 28x का अंतर है। Luna ने 50 pull requests में 69 सत्यापित बग पाए; Astra ने 92 पाए। पूरे रन के लिए Luna की लागत $0.20 थी और Astra की लागत $5.66 थी। Luna अधिक बार गलत था, इसके 93 निष्कर्षों में से 24 सत्यापन में विफल रहे, जबकि Astra के 96 में से 4, और इसने 24 सुरक्षा बगों में से 9 पाए जबकि Astra ने 19 पाए।

हमारी राय: Luna उस कीमत पर रोजमर्रा के सटीकता बगों के लिए काफी अच्छा है, और हम इसे अकेले प्रमाणीकरण या अनुमति कोड की समीक्षा करने नहीं देंगे।

हमने Astra बनाम Sol पोस्ट से सेटअप का पुन: उपयोग किया। pull requests AI-Code-Review-Evals संगठन में 50 सार्वजनिक बेंचमार्क PRs हैं, Cal.com, Sentry, Discourse, Keycloak और Grafana से दस-दस। Luna और Astra को समान diffs पर समान प्रॉम्प्ट मिला। प्रत्येक pull request के लिए, Astra, Sol, Luna और सार्वजनिक Entelligence समीक्षक की टिप्पणियों के निष्कर्ष एक अनाम सूची में जाते हैं। GPT-6 Astra और GPT-5.6 Sol प्रत्येक उस सूची को diff के विरुद्ध अलग-अलग जज करते हैं। कोई समस्या तभी सत्यापित मानी जाती है जब दोनों जज इसे वास्तविक कहें।

Luna ने Astra के 75% सत्यापित बग पाए, 3.6% पैसे में। प्रति सत्यापित बग, Astra की लागत 20x अधिक थी। Luna ने प्रति समीक्षा Astra की तुलना में 3.1x अधिक आउटपुट टोकन लिखे और फिर भी बहुत सस्ता रहा, क्योंकि इसकी आउटपुट कीमत 42x कम है। यह तेज़ भी था, प्रति समीक्षा 23 सेकंड बनाम 36।

मुख्य संस्थाएँ: कंपनियाँ: OpenAI, Cal.com, Sentry, Discourse, Keycloak, Grafana, Entelligence