HeadlinesBriefing favicon HeadlinesBriefing.com

编码代理人绑带设计的实证研究

Hacker News •
×

研究人员进行了关于自主编码代理人绑带设计的实证研究,评估了各个组件如何影响软件工程性能。他们使用具有固定执行循环的轻量级绑带,在SWE-Bench Verified和Terminal-Bench 2.1上对四个模型测试了176个匹配设置,变化了规划、动作空间和上下文管理组件。

主要发现包括:随着上下文窗口预算紧张,上下文管理变得越来越有价值,主要通过防止上下文溢出故障。在LLM-based摘要之前进行基于规则的剔除提供了最高效率,而使被剔除的内容可恢复会增加复杂性但不会带来准确性提升。规划从弱模型的准确性支架转变为强模型的成本节省者,准确性变化最小。预定义工具提高了bash能力较弱模型的性能,而bash能力强的模型在仅bash接口下实现了显著降低的成本,特别是在以命令行为中心的任务上。

轨迹级分析显示,上下文管理在不改变代理行为的情况下延长了执行轨迹,规划改变了轨迹停止的位置,而动作空间改变了代码编写的粒度。这些发现为模型和预算感知的绑带设计提供了依据,并为评估未来绑带组件提供了模块化框架。该研究由Run-Ze Fan于2026年9月17日提交。

关键实体:人物:Run-Ze Fan