研究者は自律型コードエージェントのハーネス設計について実証的研究を行い、個々のコンポーネントがソフトウェアエンジニアリングのパフォーマンスに与える影響を評価しました。固定実行ループを持つ軽量ハーネスを使用して、SWE-Bench VerifiedおよびTerminal-Bench 2.1において4つのモデルに対して176のマッチング設定をテストし、計画、アクションスペース、コンテキスト管理コンポーネントを変更しました。

主な発見には以下が含まれます：コンテキストウィンドウ予算が厳しくなるにつれて、コンテキスト管理はコンテキストオーバーフローの失敗を防ぐことによりますます価値が高まります。LLMベースの要約より前にルールベースのエリジョンを行うことが、コンテキスト管理戦略の中で最も高い効率を提供し、エリジョンドコンテンツを復元可能にすることは複雑さを増加させますが精度の向上にはつながりません。計画は、弱いモデルに対する精度の足場から、精度の変化が最小限である強いモデルに対するコスト削減へとシフトします。事前に定義されたツールは、bashの習熟度が低いモデルのパフォーマンスを向上させますが、bashに対応したモデルはbash-onlyインターフェースにより大幅にコストを削減でき、特にコマンドライン中心のタスクにおいて顕著です。

トラジェクトリレベルの分析から、コンテキスト管理はエージェントの挙動を変更せずに実行トラジェクトリを延長し、計画はトラジェクトリが停止する場所を変更し、アクションスペースはコード記述の細かさを変更することが明らかになりました。これらの発見は、モデルおよび予算を考慮したハーネス設計に情報を提供し、将来のハーネスコンポーネントを評価するためのモジュラーなフレームワークを提供します。この研究はRun-Ze Fanによって2026年9月17日に提出されました。

主要なエンティティ: 人物: Run-Ze Fan