Se ha publicado una versión renovada de StarSkirmish Bench, un benchmark en el que modelos de lenguaje grandes juegan a StarCraft: Brood War escribiendo código, con resultados de los modelos insignia de OpenAI, Anthropic, Google y Meta. Star Skirmish es un benchmark en el que los LLM escriben bots para StarCraft: Brood War. Cada modelo dispone de una hora de tiempo real para escribir un bot de Protoss en C++. Ese bot se evalúa después contra los bots de otros LLM y contra bots establecidos escritos por humanos. El benchmark está diseñado para evaluar el razonamiento de horizonte largo y la programación agéntica, ya que los modelos deben incorporar lo aprendido en partidas de práctica para mejorar su bot.
En la actualización v0.2, GPT-6 Astra es el modelo con mejor puntuación, claramente por delante de GPT-6.1 Sol, en segundo lugar. Gemini 4 Argon, Claude Opus 5.5 y Claude Fable 5.1 quedan funcionalmente empatados por detrás, con puntuaciones de entre 37 y 39. Gemini 4 Argon funciona con el mayor esfuerzo de razonamiento disponible, mientras que todos los demás modelos funcionan al máximo. Las puntuaciones son la tasa media de victorias de las cinco ejecuciones de cada modelo frente a un conjunto de bots competitivos escritos por humanos y bots de demostración.
El coste también se tiene en cuenta. GPT-6.1 Sol ofrece una relación calidad-precio inusualmente buena: es el único modelo en el cuadrante más atractivo, con la segunda puntuación y un coste por ejecución de algo más de una décima parte del de GPT-6 Astra. Gemini 4 Argon varía mucho más entre ejecuciones que otros modelos insignia, con una diferencia de 18 puntos entre su mejor y su peor ejecución.
Los bots más fuertes escritos por humanos siguen muy por delante de todos los modelos. Frente a Stardust, Purple Wave y Banana Brain, el mejor modelo, GPT-6 Astra, gana solo el 7% de sus partidas. Los desarrolladores señalan que el límite de una hora de razonamiento es un factor, pero que las condiciones de un torneo real serían considerablemente más difíciles.
Fuente: Hacker News · Resumido por HeadlinesBriefing