StarSkirmish Bench का एक नया संस्करण जारी किया गया है, एक ऐसा बेंचमार्क जिसमें बड़े भाषा मॉडल कोड लिखकर StarCraft: Brood War खेलते हैं। इसमें OpenAI, Anthropic, Google और Meta के फ्लैगशिप मॉडलों के परिणाम शामिल हैं। Star Skirmish एक ऐसा बेंचमार्क है जिसमें LLM StarCraft: Brood War के लिए बॉट लिखते हैं। हर मॉडल को C++ में एक Protoss बॉट लिखने के लिए एक घंटे का वास्तविक समय मिलता है। फिर उस बॉट का मूल्यांकन अन्य LLM द्वारा बनाए गए बॉट और स्थापित मानव-निर्मित बॉट के विरुद्ध किया जाता है। यह बेंचमार्क दीर्घ-क्षितिज तर्क और एजेंटिक कोडिंग की परीक्षा लेने के लिए बनाया गया है, क्योंकि मॉडलों को अभ्यास मैचों के अनुभव से अपने बॉट में सुधार करना होता है।
v0.2 अपडेट में GPT-6 Astra सर्वोच्च अंक वाला मॉडल है, जो दूसरे स्थान पर रहे GPT-6.1 Sol से स्पष्ट रूप से आगे है। Gemini 4 Argon, Claude Opus 5.5 और Claude Fable 5.1 उनके पीछे व्यावहारिक रूप से बराबरी पर हैं, सभी 37 से 39 के बीच अंक लाए हैं। Gemini 4 Argon अपने उपलब्ध उच्चतम तर्क-प्रयास स्तर पर चलता है, जबकि बाकी सभी मॉडल अधिकतम स्तर पर चलते हैं। अंक हर मॉडल के पाँच रनों की, प्रतिस्पर्धी मानव-निर्मित और डेमो बॉट के समूह के विरुद्ध, औसत जीत दर हैं।
लागत पर भी विचार किया गया है। GPT-6.1 Sol असाधारण रूप से अच्छा मूल्य देता है: यह सबसे आकर्षक चतुर्थांश में अकेला मॉडल है, जो दूसरे स्थान पर है और प्रति रन लागत GPT-6 Astra की लगभग एक-दसवें हिस्से से कुछ अधिक है। Gemini 4 Argon के रनों में अन्य फ्लैगशिप मॉडलों की तुलना में कहीं अधिक अंतर है, इसके सर्वश्रेष्ठ और सबसे खराब रन में 18 अंक का फासला है।
सबसे मजबूत मानव-निर्मित बॉट अब भी हर मॉडल से काफी आगे हैं। Stardust, Purple Wave और Banana Brain के विरुद्ध सर्वश्रेष्ठ मॉडल GPT-6 Astra अपने केवल 7% मैच जीतता है। डेवलपर ध्यान दिलाते हैं कि एक घंटे की तर्क-सीमा एक कारक है, लेकिन वास्तविक टूर्नामेंट की परिस्थितियाँ कहीं अधिक कठिन होंगी।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित