Brood War Bench протестировал модели ИИ в StarCraft: Brood War. Ни одна модель не играла выше уровня новичка. Codex Astra был явным лидером, последовательно побеждая все остальные модели. Модели Grok еще не были достаточно умны, чтобы играть.

Старые модели относились к RTS как к пошаговой игре, погибая во время размышлений. Новые модели лучше осознавали затраты на размышление, хотя некоторые настройки с меньшими усилиями работали лучше.

Самая сильная повторяющаяся идея Codex — дезорганизация, отправка зондов на атаку рабочих. Он часто создавал отдельных подагентов для экономики, производства армии и управления, которые плохо общались. Grok 4.6 потратил много времени на рассуждения, выдав мало партий команд — один запуск зафиксировал 11 138 токенов, но выдал только шесть партий за 43 минуты без боевых единиц.

Claude Fable искренне пытался играть, строя экономику и поднимаясь по дереву технологий. Он достиг Муталисков, Лэров, Спайров и продвинутых технологических зданий, прежде чем выиграть несколько игр.

Ключевые сущности: Компании: OpenAI, Anthropic, xAI