Pokémon Showdownの2v2形式に基づく新しいマルチエージェント環境は、LLMがリアルタイムで協調、コミュニケーション、交渉する方法を評価します。Qwen3.8-27Bモデルを相手役として使用し、不確実性下での協調をテストします。隠された相手セットとランダムダメージが含まれます。サンプルバトルでは、1つのエージェントがパートナーが行動をコミットする前にタイプマッチアップのエラーを正しく識別し、動的な修正とターゲットの戦略的分割を示します。
結果は、フリーチャットが勝率を大幅に向上させることを示しています：制限のないコミュニケーションを持つチームは、スクリプト化された最大ダメージボットとの battles で64%の勝利を収めましたが、話すことが許可されていない場合は42%にとどまりました。1ターンに1つのメッセージでもパフォーマンスは52%に向上しました。注目すべきは、1つのモデルが両方のPokémonを制御した場合、54%しか達成できなかったことで、これは中央集権的な計画ではなく、会話そのものが利点をもたらすことを示しています。ただし、フリーチャットは1バトルあたり978kプロンプトトークンを消費し、無音の試合で使用された259kのほぼ4倍となり、対話の計算コストを浮き彫りにしています。
この環境もまた判別力があることが証明されています：より強力なQwen3.8-27Bチームは、Qwen3.5-2Bチームを96%の時間、9Bモデルに対して74%の時間で勝利し、スケーラブルなベンチマークを確立しています。今後の作業には、パートナーの選択した行動を観察する影響を分離し、パブリックリーダーボードを開発することが含まれます。
出典: Hacker News · 要約：HeadlinesBriefing