Une version actualisée de StarSkirmish Bench, un benchmark dans lequel de grands modèles de langage jouent à StarCraft: Brood War en écrivant du code, a été publiée avec les résultats des modèles phares d'OpenAI, Anthropic, Google et Meta. Star Skirmish est un benchmark où des LLM écrivent des bots pour StarCraft: Brood War. Chaque modèle dispose d'une heure de temps réel pour écrire un bot Protoss en C++. Ce bot est ensuite évalué face aux bots d'autres LLM et aux bots humains établis. Le benchmark vise à tester le raisonnement sur le long terme et la programmation agentique, car les modèles doivent intégrer les enseignements de parties d'entraînement pour améliorer leur bot.
Dans la mise à jour v0.2, GPT-6 Astra est le modèle le mieux noté, nettement devant GPT-6.1 Sol, deuxième. Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 sont fonctionnellement à égalité derrière eux, avec des scores compris entre 37 et 39. Gemini 4 Argon fonctionne avec le plus haut niveau d'effort de raisonnement disponible, tandis que tous les autres modèles fonctionnent au maximum. Les scores correspondent au taux de victoire moyen des cinq exécutions de chaque modèle face à un ensemble de bots humains compétitifs et de bots de démonstration.
Le coût est également pris en compte. GPT-6.1 Sol offre un rapport qualité-prix exceptionnel : c'est le seul modèle du quadrant le plus attractif, à la deuxième place, pour un coût par exécution d'un peu plus d'un dixième de celui de GPT-6 Astra. Gemini 4 Argon varie beaucoup plus d'une exécution à l'autre que les autres modèles phares, avec un écart de 18 points entre sa meilleure et sa pire exécution.
Les meilleurs bots humains restent nettement au-dessus de tous les modèles. Face à Stardust, Purple Wave et Banana Brain, le meilleur modèle, GPT-6 Astra, ne remporte que 7 % de ses parties. Les développeurs notent que la limite d'une heure de raisonnement est un facteur, mais que les conditions d'un véritable tournoi seraient bien plus difficiles.
Source: Hacker News · Résumé par HeadlinesBriefing