Harness² は、Google Research によるプラグ・アンド・プレイのフレームワークで、ハーネス設計時には見られなかったタスクにエージェントが直面する、オープンな環境での再帰的なエージェント・ハーネシングを目的としています。ハーネスとは、モデルをエージェントとして動作させるためにモデルの周囲に構築されるシステムのことで、プロンプト、ツール、メモリ、スキル、オーケストレーションを含みます。ハーネシングとは、そのシステムを最適化するプロセスです。
このフレームワークは、モデルの重みを固定したまま、2つのレベルの再帰を結び付けます。タスクレベルの再帰は、対照的な Propose–Probe–Compose のステップを通じて、現在のタスクの実行ハーネスを洗練させます。編集案を提案し、同じタスクでその効果を検証し、正解データによるフィードバックなしに、実行間の振る舞いの対比から改良されたハーネスを構成します。ハーネシングレベルの再帰は、採用されたハーネスと根拠に裏付けられた教訓を用いて、永続的な改善ハーネスを更新し、今後の洗練を導きます。
3つの専門ベンチマークと4つのモデル・ハーネス構成において、Harness² の1ステップで、GLM-5 と Gemini 3.5 Flash はベースのハーネスを上回る性能を示しました。報告された向上幅は、Work Buddy-Bench で 11.5 ポイント、Job Bench で 4.5 ポイント、LAB の部分合格率で 11.8 パーセントポイントに達しています。タスクレベルの再帰予算を増やすと、さらなる向上が得られます。
このリリースは、並列および逐次の再帰、Open Code と Codex の実行エンジン、そして Job Bench、LAB、Work Buddy-Bench のベンチマークをサポートしています。モデルの認証情報を必要としないデモでローカルにフレームワークを試すことも、Vertex AI へのアクセスを設定した後にモデルを用いたベンチマークを実行することもできます。
出典: Hacker News · 要約：HeadlinesBriefing