Star Skirmish Bench 的刷新版本已经发布，这是一个让大语言模型通过编写代码来操控《星际争霸：母巢之战》的基准测试，结果涵盖 OpenAI、Anthropic、Google 和 Meta 的旗舰模型。Star Skirmish 是一个让 LLM 为《星际争霸：母巢之战》编写机器人的基准测试。每个模型有一小时的实际运行时间，用 C++ 编写一个神族机器人。随后，该机器人将与其他 LLM 编写的机器人以及经人工编写并确立地位的机器人进行对战评估。该基准旨在测试长时程推理和智能体式编程能力，因为模型必须吸收练习对局中的经验，才能改进自己的机器人。
在 v0.2 更新中，GPT-6 Astra 是得分最高的模型，明显领先于位居第二的 GPT-6.1 Sol。Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 在它们之后基本持平，得分均在 37 至 39 之间。Gemini 4 Argon 以其可用的最高推理强度运行，其他所有模型均以最大强度运行。分数是每个模型五次运行对阵一组具有竞争力的人工编写机器人和演示机器人的平均胜率。
成本也在考量之列。GPT-6.1 Sol 的性价比格外突出：它是唯一位于最具吸引力象限的模型，得分位列第二，而每次运行的成本仅为 GPT-6 Astra 的略高于十分之一。Gemini 4 Argon 的各次运行差异远大于其他旗舰模型，其最好与最差运行相差 18 分。
最强的人工编写机器人仍远超所有模型。面对 Stardust、Purple Wave 和 Banana Brain，表现最佳的模型 GPT-6 Astra 仅赢得其 7% 的对局。开发者指出，一小时的推理时限是一个因素，但真实的比赛条件会困难得多。
来源: Hacker News · 由HeadlinesBriefing整理摘要