صدرت نسخة محدَّثة من StarSkirmish Bench، وهو معيار تلعب فيه نماذج اللغة الكبيرة لعبة StarCraft: Brood War من خلال كتابة الشيفرة، وقد نُشرت نتائج النماذج الرائدة من OpenAI وAnthropic وGoogle وMeta. Star Skirmish معيار تكتب فيه نماذج LLM بوتات للعبة StarCraft: Brood War. يُمنح كل نموذج ساعة واحدة من الوقت الفعلي لكتابة بوت للعرق Protoss بلغة C++. ثم يُقيَّم هذا البوت في مواجهة بوتات نماذج LLM الأخرى وبوتات بشرية راسخة. صُمم المعيار لاختبار الاستدلال طويل الأمد والبرمجة الوكيلية، إذ يجب على النماذج أن تستوعب الدروس من مباريات التدريب لتطوير بوتها.
في التحديث v0.2، يتصدر GPT-6 Astra قائمة النماذج بأعلى الدرجات، متقدماً بوضوح على GPT-6.1 Sol الذي يحتل المركز الثاني. أما Gemini 4 Argon وClaude Opus 5.5 وClaude Fable 5.1 فتتعادل عملياً خلفهما، بدرجات تتراوح بين 37 و39. يعمل Gemini 4 Argon بأعلى مستوى جهد استدلال متاح له، بينما تعمل بقية النماذج بأقصى مستوى. والدرجات هي متوسط نسب الفوز لكل نموذج في خمس جولات أمام مجموعة من البوتات البشرية التنافسية وبوتات العرض.
تؤخذ التكلفة في الاعتبار أيضاً. يقدم GPT-6.1 Sol قيمة استثنائية، فهو النموذج الوحيد في أكثر المربعات جاذبية، إذ يحتل المركز الثاني بتكلفة لكل جولة تبلغ أكثر بقليل من عُشر تكلفة GPT-6 Astra. ويتباين أداء Gemini 4 Argon بين الجولات أكثر من غيره من النماذج الرائدة، إذ يفصل بين أفضل جولاته وأسوئها 18 نقطة.
ما تزال أقوى البوتات البشرية متقدمة بوضوح على جميع النماذج. فأمام Stardust وPurple Wave وBanana Brain، لا يفوز أفضل النماذج GPT-6 Astra إلا بنسبة 7% من مبارياته. ويشير المطورون إلى أن قيد الساعة الواحدة للاستدلال عامل مؤثر، لكن ظروف البطولات الحقيقية ستكون أصعب بكثير.
المصدر: Hacker News · لخّصه HeadlinesBriefing