Brood War Bench a testé des modèles d'IA sur StarCraft: Brood War. Aucun n'a joué au-delà du niveau débutant. Codex Astra a été le leader clair, battant tous les autres modèles de manière constante. Les modèles Grok n'étaient pas encore assez intelligents pour jouer.

Les modèles plus anciens traitaient le STR comme un jeu au tour par tour, se faisant détruire pendant qu'ils réfléchissaient. Les modèles plus récents étaient plus conscients des coûts de réflexion, bien que certains paramètres à faible effort aient mieux performé.

L'idée récurrente la plus forte de Codex était la perturbation, en envoyant des Sondes attaquer les travailleurs. Il créait souvent des sous-agents séparés pour l'économie, la production d'armée et le contrôle qui ne communiquaient pas bien. Grok 4.6 a passé de longues périodes à raisonner avec peu de lots de commandes — une exécution a enregistré 11 138 tokens mais n'a émis que six lots en 43 minutes sans unité de combat.

Claude Fable a sincèrement essayé de jouer, construisant des économies et grimpant les arbres technologiques. Il a atteint les Mutalisks, Lairs, Spires et bâtiments technologiques avancés avant de gagner quelques parties.

Entités clés : Entreprises : OpenAI, Anthropic, xAI