Uma versão atualizada do StarSkirmish Bench, um benchmark no qual grandes modelos de linguagem jogam StarCraft: Brood War escrevendo código, foi lançada com resultados dos modelos topo de linha da OpenAI, Anthropic, Google e Meta. O Star Skirmish é um benchmark em que LLMs escrevem bots para StarCraft: Brood War. Cada modelo recebe uma hora de tempo real para escrever um bot Protoss em C++. Esse bot é então avaliado contra os bots de outros LLMs e contra bots estabelecidos escritos por humanos. O benchmark foi desenhado para testar raciocínio de longo prazo e programação agêntica, já que os modelos precisam incorporar lições de partidas de treino para melhorar seu bot.
Na atualização v0.2, o GPT-6 Astra é o modelo com a maior pontuação, à frente do GPT-6.1 Sol, em segundo lugar. Gemini 4 Argon, Claude Opus 5.5 e Claude Fable 5.1 ficam praticamente empatados logo atrás, todos com pontuações entre 37 e 39. O Gemini 4 Argon roda com o maior esforço de raciocínio disponível para ele, enquanto todos os outros modelos rodam no máximo. As pontuações são a taxa média de vitórias das cinco execuções de cada modelo contra um conjunto de bots humanos competitivos e bots de demonstração.
O custo também é considerado. O GPT-6.1 Sol oferece um custo-benefício incomumente bom: é o único modelo no quadrante mais atraente, ficando em segundo lugar com um custo por execução pouco mais de um décimo do custo do GPT-6 Astra. O Gemini 4 Argon varia muito mais entre execuções do que os outros modelos topo de linha, com as melhores e piores execuções separadas por 18 pontos.
Os bots humanos mais fortes continuam bem à frente de todos os modelos. Contra Stardust, Purple Wave e Banana Brain, o melhor modelo, GPT-6 Astra, vence apenas 7% de suas partidas. Os desenvolvedores observam que o limite de uma hora de raciocínio é um fator, mas as condições de um torneio real seriam bem mais difíceis.
Fonte: Hacker News · Resumido por HeadlinesBriefing