Show HN: Gemini 4 Argon plays StarCraft

A refreshed version of StarSkirmish Bench, a benchmark in which large language models play StarCraft: Brood War by writing code, has been released with results from the flagship models of OpenAI, Anthropic, Google, and Meta. Star Skirmish is a benchmark where LLMs write bots for StarCraft: Brood War. Each model gets one hour of wall clock time to write a Protoss bot in C++. That bot is then evaluated against other LLMs' bots and established human-written bots. The benchmark is designed to test long-horizon reasoning and agentic coding, since models must incorporate lessons from practice games to improve their bot.

In the v0.2 update, GPT-6 Astra is the top-scoring model, a clear step ahead of GPT-6.1 Sol in second place. Gemini 4 Argon, Claude Opus 5.5 and Claude Fable 5.1 are functionally tied behind them, all scoring between 37 and 39. Gemini 4 Argon runs at the highest reasoning effort available to it, while every other model runs at max. Scores are average win rates from each model's five runs against a roster of competitive human-written and demo bots.

Cost is also considered. GPT-6.1 Sol offers unusually good value: it is the only model in the most attractive quadrant, scoring second at just over a tenth of GPT-6 Astra's cost per run. Gemini 4 Argon varies far more between runs than other flagships, with its best and worst runs 18 points apart.

The strongest human-written bots remain well ahead of every model. Against Stardust, Purple Wave and Banana Brain, the best model, GPT-6 Astra, wins only 7% of its games. The developers note that one-hour reasoning limits are a factor, but real tournament conditions would be significantly harder.

صدرت نسخة محدَّثة من StarSkirmish Bench، وهو معيار تلعب فيه نماذج اللغة الكبيرة لعبة StarCraft: Brood War من خلال كتابة الشيفرة، وقد نُشرت نتائج النماذج الرائدة من OpenAI وAnthropic وGoogle وMeta. Star Skirmish معيار تكتب فيه نماذج LLM بوتات للعبة StarCraft: Brood War. يُمنح كل نموذج ساعة واحدة من الوقت الفعلي لكتابة بوت للعرق Protoss بلغة C++. ثم يُقيَّم هذا البوت في مواجهة بوتات نماذج LLM الأخرى وبوتات بشرية راسخة. صُمم المعيار لاختبار الاستدلال طويل الأمد والبرمجة الوكيلية، إذ يجب على النماذج أن تستوعب الدروس من مباريات التدريب لتطوير بوتها.

في التحديث v0.2، يتصدر GPT-6 Astra قائمة النماذج بأعلى الدرجات، متقدماً بوضوح على GPT-6.1 Sol الذي يحتل المركز الثاني. أما Gemini 4 Argon وClaude Opus 5.5 وClaude Fable 5.1 فتتعادل عملياً خلفهما، بدرجات تتراوح بين 37 و39. يعمل Gemini 4 Argon بأعلى مستوى جهد استدلال متاح له، بينما تعمل بقية النماذج بأقصى مستوى. والدرجات هي متوسط نسب الفوز لكل نموذج في خمس جولات أمام مجموعة من البوتات البشرية التنافسية وبوتات العرض.

تؤخذ التكلفة في الاعتبار أيضاً. يقدم GPT-6.1 Sol قيمة استثنائية، فهو النموذج الوحيد في أكثر المربعات جاذبية، إذ يحتل المركز الثاني بتكلفة لكل جولة تبلغ أكثر بقليل من عُشر تكلفة GPT-6 Astra. ويتباين أداء Gemini 4 Argon بين الجولات أكثر من غيره من النماذج الرائدة، إذ يفصل بين أفضل جولاته وأسوئها 18 نقطة.

ما تزال أقوى البوتات البشرية متقدمة بوضوح على جميع النماذج. فأمام Stardust وPurple Wave وBanana Brain، لا يفوز أفضل النماذج GPT-6 Astra إلا بنسبة 7% من مبارياته. ويشير المطورون إلى أن قيد الساعة الواحدة للاستدلال عامل مؤثر، لكن ظروف البطولات الحقيقية ستكون أصعب بكثير.

StarSkirmish Bench-এর একটি নতুন সংস্করণ প্রকাশিত হয়েছে, একটি বেঞ্চমার্ক যেখানে বৃহৎ ভাষা মডেল কোড লিখে StarCraft: Brood War খেলে। এতে OpenAI, Anthropic, Google ও Meta-এর ফ্ল্যাগশিপ মডেলের ফলাফল রয়েছে। Star Skirmish হলো এমন একটি বেঞ্চমার্ক যেখানে LLM StarCraft: Brood War-এর জন্য বট লেখে। প্রতিটি মডেল C++-এ একটি Protoss বট লিখতে এক ঘণ্টার বাস্তব সময় পায়। এরপর সেই বট অন্যান্য LLM-এর বট এবং প্রতিষ্ঠিত মানুষের লেখা বটের বিরুদ্ধে মূল্যায়িত হয়। এই বেঞ্চমার্কটি দীর্ঘ-পরিসরের যুক্তি ও এজেন্টিক কোডিং পরীক্ষা করতে ডিজাইন করা হয়েছে, কারণ মডেলদের অনুশীলন ম্যাচের শিক্ষা কাজে লাগিয়ে নিজের বটের উন্নতি করতে হয়।

v0.2 আপডেটে GPT-6 Astra সর্বোচ্চ স্কোরধারী মডেল, যা দ্বিতীয় স্থানে থাকা GPT-6.1 Sol-এর চেয়ে স্পষ্টভাবে এগিয়ে। Gemini 4 Argon, Claude Opus 5.5 ও Claude Fable 5.1 তাদের পেছনে কার্যত সমান, সবগুলো 37 থেকে 39-এর মধ্যে স্কোর করেছে। Gemini 4 Argon তার সর্বোচ্চ উপলব্ধ যুক্তি-প্রচেষ্টায় চলে, আর বাকি সব মডেল সর্বোচ্চ মাত্রায় চলে। স্কোর হলো প্রতিটি মডেলের পাঁচটি রানে প্রতিযোগিতামূলক মানুষের লেখা ও ডেমো বটের তালিকার বিরুদ্ধে গড় জয়ের হার।

খরচও বিবেচনায় নেওয়া হয়েছে। GPT-6.1 Sol অসাধারণ মূল্য দেয়: এটিই একমাত্র মডেল যা সবচেয়ে আকর্ষণীয় চতুর্ভাগে রয়েছে, দ্বিতীয় স্কোর করেছে এবং প্রতি রানের খরচ GPT-6 Astra-র এক-দশমাংশের সামান্য বেশি। Gemini 4 Argon-এর রানগুলোর মধ্যে তারতম্য অন্য ফ্ল্যাগশিপ মডেলগুলোর চেয়ে অনেক বেশি, তার সেরা ও সবচেয়ে খারাপ রানের ব্যবধান 18 পয়েন্ট।

শক্তিশালী মানুষের লেখা বটগুলো এখনও সব মডেলের চেয়ে অনেক এগিয়ে। Stardust, Purple Wave ও Banana Brain-এর বিরুদ্ধে সেরা মডেল GPT-6 Astra তার মাত্র 7% খেলা জেতে। ডেভেলপাররা উল্লেখ করেছেন যে এক ঘণ্টার যুক্তির সীমা একটি কারণ, তবে বাস্তব টুর্নামেন্টের পরিস্থিতি অনেক বেশি কঠিন হবে।

Eine überarbeitete Version von StarSkirmish Bench ist erschienen, einem Benchmark, bei dem große Sprachmodelle StarCraft: Brood War spielen, indem sie Code schreiben. Veröffentlicht wurden Ergebnisse der Flaggschiffmodelle von OpenAI, Anthropic, Google und Meta. Star Skirmish ist ein Benchmark, bei dem LLMs Bots für StarCraft: Brood War schreiben. Jedes Modell erhält eine Stunde Echtzeit, um einen Protoss-Bot in C++ zu schreiben. Dieser Bot wird anschließend gegen die Bots anderer LLMs und etablierte, von Menschen geschriebene Bots getestet. Der Benchmark soll langfristiges logisches Denken und agentisches Programmieren prüfen, da die Modelle Erkenntnisse aus Übungsspielen einbeziehen müssen, um ihren Bot zu verbessern.

Im Update v0.2 ist GPT-6 Astra das bestbewertete Modell, mit deutlichem Abstand vor GPT-6.1 Sol auf dem zweiten Platz. Gemini 4 Argon, Claude Opus 5.5 und Claude Fable 5.1 liegen dahinter praktisch gleichauf, mit Werten zwischen 37 und 39. Gemini 4 Argon läuft mit der höchsten verfügbaren Denkanstrengung, alle anderen Modelle mit der maximalen Stufe. Die Werte sind die durchschnittlichen Siegquoten aus den fünf Durchläufen jedes Modells gegen ein Feld wettbewerbsfähiger, von Menschen geschriebener und Demo-Bots.

Auch die Kosten fließen ein. GPT-6.1 Sol bietet ungewöhnlich gutes Preis-Leistungs-Verhältnis: Es ist das einzige Modell im attraktivsten Quadranten und belegt den zweiten Platz bei nur gut einem Zehntel der Kosten pro Lauf von GPT-6 Astra. Gemini 4 Argon schwankt zwischen den Läufen deutlich stärker als andere Flaggschiffe, mit 18 Punkten Abstand zwischen bestem und schlechtestem Lauf.

Die stärksten von Menschen geschriebenen Bots liegen weiterhin deutlich vor allen Modellen. Gegen Stardust, Purple Wave und Banana Brain gewinnt das beste Modell, GPT-6 Astra, nur 7 % seiner Partien. Die Entwickler weisen darauf hin, dass das Limit von einer Stunde Denkzeit ein Faktor ist, echte Turnierbedingungen aber deutlich schwerer wären.

Se ha publicado una versión renovada de StarSkirmish Bench, un benchmark en el que modelos de lenguaje grandes juegan a StarCraft: Brood War escribiendo código, con resultados de los modelos insignia de OpenAI, Anthropic, Google y Meta. Star Skirmish es un benchmark en el que los LLM escriben bots para StarCraft: Brood War. Cada modelo dispone de una hora de tiempo real para escribir un bot de Protoss en C++. Ese bot se evalúa después contra los bots de otros LLM y contra bots establecidos escritos por humanos. El benchmark está diseñado para evaluar el razonamiento de horizonte largo y la programación agéntica, ya que los modelos deben incorporar lo aprendido en partidas de práctica para mejorar su bot.

En la actualización v0.2, GPT-6 Astra es el modelo con mejor puntuación, claramente por delante de GPT-6.1 Sol, en segundo lugar. Gemini 4 Argon, Claude Opus 5.5 y Claude Fable 5.1 quedan funcionalmente empatados por detrás, con puntuaciones de entre 37 y 39. Gemini 4 Argon funciona con el mayor esfuerzo de razonamiento disponible, mientras que todos los demás modelos funcionan al máximo. Las puntuaciones son la tasa media de victorias de las cinco ejecuciones de cada modelo frente a un conjunto de bots competitivos escritos por humanos y bots de demostración.

El coste también se tiene en cuenta. GPT-6.1 Sol ofrece una relación calidad-precio inusualmente buena: es el único modelo en el cuadrante más atractivo, con la segunda puntuación y un coste por ejecución de algo más de una décima parte del de GPT-6 Astra. Gemini 4 Argon varía mucho más entre ejecuciones que otros modelos insignia, con una diferencia de 18 puntos entre su mejor y su peor ejecución.

Los bots más fuertes escritos por humanos siguen muy por delante de todos los modelos. Frente a Stardust, Purple Wave y Banana Brain, el mejor modelo, GPT-6 Astra, gana solo el 7% de sus partidas. Los desarrolladores señalan que el límite de una hora de razonamiento es un factor, pero que las condiciones de un torneo real serían considerablemente más difíciles.

Une version actualisée de StarSkirmish Bench, un benchmark dans lequel de grands modèles de langage jouent à StarCraft: Brood War en écrivant du code, a été publiée avec les résultats des modèles phares d'OpenAI, Anthropic, Google et Meta. Star Skirmish est un benchmark où des LLM écrivent des bots pour StarCraft: Brood War. Chaque modèle dispose d'une heure de temps réel pour écrire un bot Protoss en C++. Ce bot est ensuite évalué face aux bots d'autres LLM et aux bots humains établis. Le benchmark vise à tester le raisonnement sur le long terme et la programmation agentique, car les modèles doivent intégrer les enseignements de parties d'entraînement pour améliorer leur bot.

Dans la mise à jour v0.2, GPT-6 Astra est le modèle le mieux noté, nettement devant GPT-6.1 Sol, deuxième. Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 sont fonctionnellement à égalité derrière eux, avec des scores compris entre 37 et 39. Gemini 4 Argon fonctionne avec le plus haut niveau d'effort de raisonnement disponible, tandis que tous les autres modèles fonctionnent au maximum. Les scores correspondent au taux de victoire moyen des cinq exécutions de chaque modèle face à un ensemble de bots humains compétitifs et de bots de démonstration.

Le coût est également pris en compte. GPT-6.1 Sol offre un rapport qualité-prix exceptionnel : c'est le seul modèle du quadrant le plus attractif, à la deuxième place, pour un coût par exécution d'un peu plus d'un dixième de celui de GPT-6 Astra. Gemini 4 Argon varie beaucoup plus d'une exécution à l'autre que les autres modèles phares, avec un écart de 18 points entre sa meilleure et sa pire exécution.

Les meilleurs bots humains restent nettement au-dessus de tous les modèles. Face à Stardust, Purple Wave et Banana Brain, le meilleur modèle, GPT-6 Astra, ne remporte que 7 % de ses parties. Les développeurs notent que la limite d'une heure de raisonnement est un facteur, mais que les conditions d'un véritable tournoi seraient bien plus difficiles.

StarSkirmish Bench का एक नया संस्करण जारी किया गया है, एक ऐसा बेंचमार्क जिसमें बड़े भाषा मॉडल कोड लिखकर StarCraft: Brood War खेलते हैं। इसमें OpenAI, Anthropic, Google और Meta के फ्लैगशिप मॉडलों के परिणाम शामिल हैं। Star Skirmish एक ऐसा बेंचमार्क है जिसमें LLM StarCraft: Brood War के लिए बॉट लिखते हैं। हर मॉडल को C++ में एक Protoss बॉट लिखने के लिए एक घंटे का वास्तविक समय मिलता है। फिर उस बॉट का मूल्यांकन अन्य LLM द्वारा बनाए गए बॉट और स्थापित मानव-निर्मित बॉट के विरुद्ध किया जाता है। यह बेंचमार्क दीर्घ-क्षितिज तर्क और एजेंटिक कोडिंग की परीक्षा लेने के लिए बनाया गया है, क्योंकि मॉडलों को अभ्यास मैचों के अनुभव से अपने बॉट में सुधार करना होता है।

v0.2 अपडेट में GPT-6 Astra सर्वोच्च अंक वाला मॉडल है, जो दूसरे स्थान पर रहे GPT-6.1 Sol से स्पष्ट रूप से आगे है। Gemini 4 Argon, Claude Opus 5.5 और Claude Fable 5.1 उनके पीछे व्यावहारिक रूप से बराबरी पर हैं, सभी 37 से 39 के बीच अंक लाए हैं। Gemini 4 Argon अपने उपलब्ध उच्चतम तर्क-प्रयास स्तर पर चलता है, जबकि बाकी सभी मॉडल अधिकतम स्तर पर चलते हैं। अंक हर मॉडल के पाँच रनों की, प्रतिस्पर्धी मानव-निर्मित और डेमो बॉट के समूह के विरुद्ध, औसत जीत दर हैं।

लागत पर भी विचार किया गया है। GPT-6.1 Sol असाधारण रूप से अच्छा मूल्य देता है: यह सबसे आकर्षक चतुर्थांश में अकेला मॉडल है, जो दूसरे स्थान पर है और प्रति रन लागत GPT-6 Astra की लगभग एक-दसवें हिस्से से कुछ अधिक है। Gemini 4 Argon के रनों में अन्य फ्लैगशिप मॉडलों की तुलना में कहीं अधिक अंतर है, इसके सर्वश्रेष्ठ और सबसे खराब रन में 18 अंक का फासला है।

सबसे मजबूत मानव-निर्मित बॉट अब भी हर मॉडल से काफी आगे हैं। Stardust, Purple Wave और Banana Brain के विरुद्ध सर्वश्रेष्ठ मॉडल GPT-6 Astra अपने केवल 7% मैच जीतता है। डेवलपर ध्यान दिलाते हैं कि एक घंटे की तर्क-सीमा एक कारक है, लेकिन वास्तविक टूर्नामेंट की परिस्थितियाँ कहीं अधिक कठिन होंगी।

Versi baru StarSkirmish Bench, sebuah benchmark ketika model bahasa besar bermain StarCraft: Brood War dengan menulis kode, telah dirilis dengan hasil dari model unggulan OpenAI, Anthropic, Google, dan Meta. Star Skirmish adalah benchmark tempat LLM menulis bot untuk StarCraft: Brood War. Setiap model mendapat satu jam waktu nyata untuk menulis bot Protoss dalam C++. Bot tersebut kemudian dievaluasi melawan bot dari LLM lain dan bot buatan manusia yang sudah mapan. Benchmark ini dirancang untuk menguji penalaran jangka panjang dan pengodean agentik, karena model harus menerapkan pelajaran dari pertandingan latihan untuk meningkatkan bot mereka.

Pada pembaruan v0.2, GPT-6 Astra adalah model dengan skor tertinggi, jauh di depan GPT-6.1 Sol di posisi kedua. Gemini 4 Argon, Claude Opus 5.5, dan Claude Fable 5.1 secara praktis seri di belakang keduanya, dengan skor antara 37 dan 39. Gemini 4 Argon berjalan pada tingkat upaya penalaran tertinggi yang tersedia baginya, sementara semua model lain berjalan pada tingkat maksimum. Skor adalah rata-rata tingkat kemenangan dari lima kali menjalankan setiap model melawan sekumpulan bot buatan manusia yang kompetitif dan bot demo.

Biaya juga diperhitungkan. GPT-6.1 Sol menawarkan nilai yang luar biasa baik: ia adalah satu-satunya model di kuadran paling menarik, meraih peringkat kedua dengan biaya per putaran hanya sedikit di atas sepersepuluh biaya GPT-6 Astra. Gemini 4 Argon bervariasi jauh lebih besar antarputaran dibanding model unggulan lain, dengan selisih 18 poin antara putaran terbaik dan terburuknya.

Bot buatan manusia yang terkuat tetap jauh di depan semua model. Melawan Stardust, Purple Wave, dan Banana Brain, model terbaik, GPT-6 Astra, hanya memenangkan 7% pertandingannya. Para pengembang mencatat bahwa batas penalaran satu jam menjadi faktor, tetapi kondisi turnamen sungguhan akan jauh lebih sulit.

StarSkirmish Benchの刷新版が公開されました。これは大規模言語モデルがコードを書くことでStarCraft: Brood Warをプレイするベンチマークで、OpenAI、Anthropic、Google、Metaのフラッグシップモデルの結果が掲載されています。Star Skirmishは、LLMがStarCraft: Brood War用のボットを書くベンチマークです。各モデルには、C++でProtossのボットを書くための実時間1時間が与えられます。そのボットは、他のLLMが作成したボットや、確立された人間製のボットと対戦して評価されます。このベンチマークは長期的な推論とエージェント的なコーディング能力を試すように設計されており、モデルは練習試合から得た教訓を取り入れてボットを改善しなければなりません。

v0.2の更新では、GPT-6 Astraが最高スコアのモデルで、2位のGPT-6.1 Solを明確に上回っています。Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1はその後ろで実質的に並んでおり、いずれも37から39の間のスコアです。Gemini 4 Argonは利用可能な最高の推論努力レベルで動作し、他のすべてのモデルは最大で動作します。スコアは、競争力のある人間製およびデモ用のボット群に対する、各モデルの5回の実行の平均勝率です。

コストも考慮されています。GPT-6.1 Solは並外れた費用対効果を示しており、最も魅力的な象限にある唯一のモデルで、2位のスコアを、GPT-6 Astraの1回あたりのコストの10分の1強で達成しています。Gemini 4 Argonは他のフラッグシップモデルより実行ごとのばらつきが大きく、最良の実行と最悪の実行の差は18ポイントです。

最強の人間製ボットは依然としてすべてのモデルを大きく上回っています。Stardust、Purple Wave、Banana Brainに対して、最良のモデルであるGPT-6 Astraが勝つのは試合の7%に過ぎません。開発者は、1時間の推論制限も要因であると指摘していますが、実際の大会の条件ははるかに厳しいものになるとしています。

Uma versão atualizada do StarSkirmish Bench, um benchmark no qual grandes modelos de linguagem jogam StarCraft: Brood War escrevendo código, foi lançada com resultados dos modelos topo de linha da OpenAI, Anthropic, Google e Meta. O Star Skirmish é um benchmark em que LLMs escrevem bots para StarCraft: Brood War. Cada modelo recebe uma hora de tempo real para escrever um bot Protoss em C++. Esse bot é então avaliado contra os bots de outros LLMs e contra bots estabelecidos escritos por humanos. O benchmark foi desenhado para testar raciocínio de longo prazo e programação agêntica, já que os modelos precisam incorporar lições de partidas de treino para melhorar seu bot.

Na atualização v0.2, o GPT-6 Astra é o modelo com a maior pontuação, à frente do GPT-6.1 Sol, em segundo lugar. Gemini 4 Argon, Claude Opus 5.5 e Claude Fable 5.1 ficam praticamente empatados logo atrás, todos com pontuações entre 37 e 39. O Gemini 4 Argon roda com o maior esforço de raciocínio disponível para ele, enquanto todos os outros modelos rodam no máximo. As pontuações são a taxa média de vitórias das cinco execuções de cada modelo contra um conjunto de bots humanos competitivos e bots de demonstração.

O custo também é considerado. O GPT-6.1 Sol oferece um custo-benefício incomumente bom: é o único modelo no quadrante mais atraente, ficando em segundo lugar com um custo por execução pouco mais de um décimo do custo do GPT-6 Astra. O Gemini 4 Argon varia muito mais entre execuções do que os outros modelos topo de linha, com as melhores e piores execuções separadas por 18 pontos.

Os bots humanos mais fortes continuam bem à frente de todos os modelos. Contra Stardust, Purple Wave e Banana Brain, o melhor modelo, GPT-6 Astra, vence apenas 7% de suas partidas. Os desenvolvedores observam que o limite de uma hora de raciocínio é um fator, mas as condições de um torneio real seriam bem mais difíceis.

Опубликована обновлённая версия StarSkirmish Bench — бенчмарка, в котором большие языковые модели играют в StarCraft: Brood War, написав код. В нём представлены результаты флагманских моделей OpenAI, Anthropic, Google и Meta. Star Skirmish — это бенчмарк, в котором LLM пишут ботов для StarCraft: Brood War. Каждой модели отводится один час реального времени, чтобы написать бота за расу Protoss на C++. Затем этот бот оценивается против ботов других LLM и устоявшихся ботов, написанных людьми. Бенчмарк предназначен для проверки долгосрочного рассуждения и агентного программирования, поскольку модели должны учитывать опыт тренировочных партий, чтобы улучшать своего бота.

В обновлении v0.2 GPT-6 Astra занимает первое место по результатам, заметно опережая GPT-6.1 Sol, который идёт вторым. Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 практически равны между собой позади них, набрав от 37 до 39 баллов. Gemini 4 Argon работает на максимальном доступном уровне усилий рассуждения, тогда как все остальные модели работают на максимуме. Баллы представляют собой средний процент побед каждой модели в пяти запусках против набора конкурентоспособных ботов, написанных людьми, и демонстрационных ботов.

Учитывается и стоимость. GPT-6.1 Sol предлагает необычно выгодное соотношение цены и качества: это единственная модель в самом привлекательном квадранте, занимающая второе место при стоимости одного запуска чуть больше одной десятой стоимости GPT-6 Astra. Результаты Gemini 4 Argon между запусками варьируются гораздо сильнее, чем у других флагманов: разрыв между лучшим и худшим запусками составляет 18 баллов.

Сильнейшие боты, написанные людьми, по-прежнему намного опережают все модели. Против Stardust, Purple Wave и Banana Brain лучшая модель, GPT-6 Astra, выигрывает лишь 7% своих игр. Разработчики отмечают, что ограничение рассуждения в один час является фактором, однако условия реального турнира были бы значительно сложнее.

Star Skirmish Bench 的刷新版本已经发布，这是一个让大语言模型通过编写代码来操控《星际争霸：母巢之战》的基准测试，结果涵盖 OpenAI、Anthropic、Google 和 Meta 的旗舰模型。Star Skirmish 是一个让 LLM 为《星际争霸：母巢之战》编写机器人的基准测试。每个模型有一小时的实际运行时间，用 C++ 编写一个神族机器人。随后，该机器人将与其他 LLM 编写的机器人以及经人工编写并确立地位的机器人进行对战评估。该基准旨在测试长时程推理和智能体式编程能力，因为模型必须吸收练习对局中的经验，才能改进自己的机器人。

在 v0.2 更新中，GPT-6 Astra 是得分最高的模型，明显领先于位居第二的 GPT-6.1 Sol。Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 在它们之后基本持平，得分均在 37 至 39 之间。Gemini 4 Argon 以其可用的最高推理强度运行，其他所有模型均以最大强度运行。分数是每个模型五次运行对阵一组具有竞争力的人工编写机器人和演示机器人的平均胜率。

成本也在考量之列。GPT-6.1 Sol 的性价比格外突出：它是唯一位于最具吸引力象限的模型，得分位列第二，而每次运行的成本仅为 GPT-6 Astra 的略高于十分之一。Gemini 4 Argon 的各次运行差异远大于其他旗舰模型，其最好与最差运行相差 18 分。

最强的人工编写机器人仍远超所有模型。面对 Stardust、Purple Wave 和 Banana Brain，表现最佳的模型 GPT-6 Astra 仅赢得其 7% 的对局。开发者指出，一小时的推理时限是一个因素，但真实的比赛条件会困难得多。