Опубликована обновлённая версия StarSkirmish Bench — бенчмарка, в котором большие языковые модели играют в StarCraft: Brood War, написав код. В нём представлены результаты флагманских моделей OpenAI, Anthropic, Google и Meta. Star Skirmish — это бенчмарк, в котором LLM пишут ботов для StarCraft: Brood War. Каждой модели отводится один час реального времени, чтобы написать бота за расу Protoss на C++. Затем этот бот оценивается против ботов других LLM и устоявшихся ботов, написанных людьми. Бенчмарк предназначен для проверки долгосрочного рассуждения и агентного программирования, поскольку модели должны учитывать опыт тренировочных партий, чтобы улучшать своего бота.
В обновлении v0.2 GPT-6 Astra занимает первое место по результатам, заметно опережая GPT-6.1 Sol, который идёт вторым. Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 практически равны между собой позади них, набрав от 37 до 39 баллов. Gemini 4 Argon работает на максимальном доступном уровне усилий рассуждения, тогда как все остальные модели работают на максимуме. Баллы представляют собой средний процент побед каждой модели в пяти запусках против набора конкурентоспособных ботов, написанных людьми, и демонстрационных ботов.
Учитывается и стоимость. GPT-6.1 Sol предлагает необычно выгодное соотношение цены и качества: это единственная модель в самом привлекательном квадранте, занимающая второе место при стоимости одного запуска чуть больше одной десятой стоимости GPT-6 Astra. Результаты Gemini 4 Argon между запусками варьируются гораздо сильнее, чем у других флагманов: разрыв между лучшим и худшим запусками составляет 18 баллов.
Сильнейшие боты, написанные людьми, по-прежнему намного опережают все модели. Против Stardust, Purple Wave и Banana Brain лучшая модель, GPT-6 Astra, выигрывает лишь 7% своих игр. Разработчики отмечают, что ограничение рассуждения в один час является фактором, однако условия реального турнира были бы значительно сложнее.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing