Los investigadores realizaron un estudio empírico sobre el diseño de arnés para agentes de codificación autónomos, evaluando cómo los componentes individuales afectan el rendimiento de ingeniería de software. Utilizando un arnés ligero con bucles de ejecución fijos, probaron 176 configuraciones emparejadas en cuatro modelos en SWE-Bench Verified y Terminal-Bench 2.1, variando los componentes de planificación, espacio de acción y gestión de contexto.

Los hallazgos clave incluyen: la gestión de contexto se vuelve cada vez más valiosa a medida que se ajustan los presupuestos de ventana de contexto, principalmente al prevenir fallos por desbordamiento de contexto. Realizar elisión basada en reglas antes de la resumen basada en LLM proporciona la mayor eficiencia, mientras que hacer que el contenido elidido sea recuperable añade complejidad sin ganancias de precisión. La planificación pasa de ser un andamio de precisión para modelos más débiles a un ahorrador de costos para modelos más fuertes con un cambio mínimo en la precisión. Las herramientas predefinidas mejoran el rendimiento para modelos con menor competencia en bash, mientras que los modelos capaces de bash logran costos sustancialmente menores con una interfaz solo de bash, especialmente en tareas centradas en la línea de comandos.

El análisis a nivel de trayectoria revela que la gestión de contexto extiende las trayectorias de ejecución sin alterar el comportamiento del agente, la planificación cambia dónde se detienen las trayectorias, y el espacio de acción cambia la granularidad de la escritura de código. Estos hallazgos informan el diseño de arnés consciente del modelo y el presupuesto, y proporcionan un marco modular para evaluar componentes futuros de arnés. El estudio fue presentado por Run-Ze Fan el 17 de septiembre de 2026.

Entidades Clave: Personas: Run-Ze Fan