Une exécution réussie d'un agent de codage IA peut quand même masquer un grand nombre d'efforts gaspillés. Dans un exemple, un agent a réussi les tests au tour 4, mais a continué à travailler jusqu'au tour 10, et six de ses huit lignes modifiées étaient inutiles par rapport à la correction de référence. Une vérification standard de réussite ou d'échec attribue à cette exécution la même note qu'une exécution propre et efficace.
L'auteur précise que l'agent de cette expérience est simulé. Plutôt que d'exécuter un véritable agent de codage comme Claude Code ou Codex, l'étude a utilisé une politique Python à graine fixe pour prendre ses décisions, tandis que les dépôts, les modifications, les diffs, les exécutions de tests et les échecs sont réels. L'objectif était de mesurer combien de tours supplémentaires un agent met pour obtenir un correctif réussi, quelle part de ce travail était nécessaire, et si un flux de travail environnant peut réduire les efforts inutiles.
L'analyse s'appuie sur environ 50 000 exécutions simulées, incluant un balayage de conformité, des tests de règles individuelles et une suite de validation à part. Elle se fonde sur SWE-bench, un benchmark de 2 294 tickets GitHub réels issus de 12 dépôts Python, qui n'évalue que le correctif final. Deux exécutions peuvent y réussir alors que l'une prend beaucoup plus de tours, de temps et de jetons, et laisse davantage de modifications en suspens.
L'article distingue la taille du correctif final du travail total, qui comprend les exécutions de tests échouées, les commandes répétées, les modifications dans le mauvais fichier et les changements annulés. Les taux de réussite ignorent entièrement cet effort. L'étude vise à montrer ce que coûte ce travail caché et comment les règles du harnais pourraient le réduire.
Source: Towards Data Science · Résumé par HeadlinesBriefing