一个基于宝可梦Showdown 2v2格式的新型多智能体环境，评估大型语言模型如何在实时中协调、沟通和谈判行动。使用Qwen3.8-27B模型作为队友，该设置在不确定性下测试协作，包含隐藏的对手阵容和随机伤害。在一次样本战斗中，一个代理正确识别了其搭档在行动前的类型匹配错误，展示了动态纠正和战略性的目标分割。
结果显示，自由团队聊天显著提高了胜率：拥有无限制沟通的队伍在对抗脚本最大伤害机器人时赢了64%的战斗，而不允许交谈时仅为42%。即使每回合只发送一条消息，性能也提升至52%。值得注意的是，单个模型控制两只宝可梦仅取得了54%的胜率，这表明对话本身——而非集中式规划——产生了优势。然而，自由聊天每场战斗消耗了978k个prompt tokens，几乎是静默对局中使用的259k的四倍，突显了对话的计算成本。
该环境也证明了其区分性：更强的Qwen3.8-27B队伍击败较弱的Qwen3.5-2B队伍96%的时间，击败9B模型74%的时间，确立了可扩展的基准。未来的工作包括隔离观察搭档所选行动的影响以及开发公开排行榜。
来源: Hacker News · 由HeadlinesBriefing整理摘要