StarSkirmish Benchの刷新版が公開されました。これは大規模言語モデルがコードを書くことでStarCraft: Brood Warをプレイするベンチマークで、OpenAI、Anthropic、Google、Metaのフラッグシップモデルの結果が掲載されています。Star Skirmishは、LLMがStarCraft: Brood War用のボットを書くベンチマークです。各モデルには、C++でProtossのボットを書くための実時間1時間が与えられます。そのボットは、他のLLMが作成したボットや、確立された人間製のボットと対戦して評価されます。このベンチマークは長期的な推論とエージェント的なコーディング能力を試すように設計されており、モデルは練習試合から得た教訓を取り入れてボットを改善しなければなりません。
v0.2の更新では、GPT-6 Astraが最高スコアのモデルで、2位のGPT-6.1 Solを明確に上回っています。Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1はその後ろで実質的に並んでおり、いずれも37から39の間のスコアです。Gemini 4 Argonは利用可能な最高の推論努力レベルで動作し、他のすべてのモデルは最大で動作します。スコアは、競争力のある人間製およびデモ用のボット群に対する、各モデルの5回の実行の平均勝率です。
コストも考慮されています。GPT-6.1 Solは並外れた費用対効果を示しており、最も魅力的な象限にある唯一のモデルで、2位のスコアを、GPT-6 Astraの1回あたりのコストの10分の1強で達成しています。Gemini 4 Argonは他のフラッグシップモデルより実行ごとのばらつきが大きく、最良の実行と最悪の実行の差は18ポイントです。
最強の人間製ボットは依然としてすべてのモデルを大きく上回っています。Stardust、Purple Wave、Banana Brainに対して、最良のモデルであるGPT-6 Astraが勝つのは試合の7%に過ぎません。開発者は、1時間の推論制限も要因であると指摘していますが、実際の大会の条件ははるかに厳しいものになるとしています。
出典: Hacker News · 要約：HeadlinesBriefing