一次通过测试的AI编码智能体运行，仍可能隐藏大量浪费的工作。在一个例子中，某个智能体在第4轮就通过了测试，但仍持续工作到第10轮，并且与参考修复相比，它所修改的八行代码中有六行是不必要的。标准的通过/失败检查会给这次运行与一次干净、高效的运行打出相同的分数。
作者指出，本实验中的智能体是模拟的。研究并未运行Claude Code或Codex等真实的编码智能体，而是使用一个带种子的Python策略来做决策，而代码仓库、编辑、差异、测试运行和失败则都是真实的。研究目标是衡量智能体需要多少额外轮次才能得到通过的补丁，其中有多少工作是必要的，以及周围的工作流程能否减少不必要的努力。
该分析基于约50,000次模拟运行，包括合规性扫描、针对单条规则的测试以及留出测试集。它以SWE-bench为基础，这是一个包含来自12个Python代码仓库的2,294个真实GitHub问题的基准，它只对最终补丁进行评分。在该基准上，两次运行都可能成功，但其中一次会耗费多得多的轮次、时间和令牌，并留下更多改动。
文章将最终补丁的大小与总工作量区分开来，总工作量包括失败的测试运行、重复的命令、对错误文件的编辑以及被回滚的改动。通过率完全忽略了这些努力。该研究旨在展示这些隐性工作的成本，以及工具链规则可能如何减少这些成本。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要