Новое многопрофильное окружение, основанное на формате 2v2 Pokémon Showdown, оценивает, как большие языковые модели_coord, общаются и переговоры в реальном времени. Используя модели Qwen3.8-27B как партнеров, настройка тестирует сотрудничество при неопределенности с скрытыми наборами оппонентов и случайным ущербом. В образцовой битве один агент правильно идентифицирует ошибку сопоставления типов, совершенную своим партнером, перед тем как совершать ход, демонстрируя динамическую коррекцию и стратегическое разделение целей.
Результаты показывают, что свободный чат команды значительно повышает процент побед: команды с необConstrained communication won 64% of battles against a scripted max-damage bot, compared to just 42% when no talking was allowed. Even a single message per turn improved performance to 52%. Notably, a single model controlling both Pokémon achieved only 54%, indicating that the conversational exchange itself—rather than centralized planning—drives the advantage. However, free talk consumed 978k prompt tokens per battle, nearly four times the 259k used in silent matches, highlighting the computational cost of dialogue.
The environment also proves discriminative: stronger Qwen3.8-27B teams defeated weaker Qwen3.5-2B teams 96% of the time and 74% against 9B models, establishing a scalable benchmark. Future work includes isolating the impact of observing a partner’s chosen move and developing a public leaderboard.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing