Les chercheurs ont mené une étude empirique sur la conception du harnais pour les agents de codage autonomes, évaluant comment les composants individuels affectent les performances en ingénierie logicielle. Ils ont utilisé un harnais léger avec des boucles d'exécution fixes pour tester 176 réglages appariés sur quatre modèles sur SWE-Bench Verified et Terminal-Bench 2.1, en variant les composants de planification, d'espace d'action et de gestion du contexte.

Les principales conclusions incluent : la gestion du contexte devient de plus en plus précieuse à mesure que les budgets de fenêtre de contexte se resserrent, principalement en empêchant les échecs de débordement de contexte. La mise en scène de l'élision basée sur des règles avant la synthèse basée sur les LLM fournit la meilleure efficacité, tandis que rendre le contenu élidé récupérable ajoute de la complexité sans amélioration de la précision. La planification passe d'un échafaudage de précision pour les modèles plus faibles à un économiseur de coûts pour les modèles plus forts avec un changement minimal de précision. Les outils prédéfinis améliorent les performances des modèles ayant une moindre maîtrise de bash, tandis que les modèles capables de bash atteignent des coûts substantially inférieurs avec une interface bash-only, surtout pour les tâches centrées sur la ligne de commande.

L'analyse au niveau de la trajectoire révèle que la gestion du contexte prolonge les trajectoires d'exécution sans modifier le comportement de l'agent, la planification modifie l'endroit où les trajectoires s'arrêtent, et l'espace d'action modifie la granularité de l'écriture du code. Ces résultats éclairent la conception de harnais consciente du modèle et du budget, et fournissent un cadre modulaire pour évaluer les futurs composants de harnais. L'étude a été soumise par Run-Ze Fan le 17 septembre 2026.

Entités clés : Personnes : Run-Ze Fan