Pesquisadores conduziram um estudo empírico sobre o design do arnés para agentes de codificação autônomos, avaliando como os componentes individuais afetam o desempenho da engenharia de software. Usando um arnés leve com laços de execução fixos, eles testaram 176 configurações correspondentes em quatro modelos no SWE-Bench Verified e Terminal-Bench 2.1, variando os componentes de planejamento, espaço de ação e gerenciamento de contexto.

As principais descobertas incluem: o gerenciamento de contexto torna-se cada vez mais valioso à medida que os orçamentos de janela de contexto ficam mais apertados, principalmente ao evitar falhas de overflow de contexto. Realizar a elisão baseada em regras antes da resumação baseada em LLM fornece a maior eficiência, enquanto tornar o conteúdo elidido recuperável adiciona complexidade sem ganhos de precisão. O planejamento muda de ser um suporte de precisão para modelos mais fracos para ser um economizador de custos para modelos mais fortes com mínima mudança na precisão. Ferramentas pré-definidas melhoram o desempenho para modelos com menor proficiência em bash, enquanto modelos capazes de bash alcançam custos substantially menores com uma interface apenas de bash, especialmente em tarefas centradas na linha de comando.

A análise em nível de trajetória revela que o gerenciamento de contexto estende as trajetórias de execução sem alterar o comportamento do agente, o planejamento muda onde as trajetórias param, e o espaço de ação muda a granularidade da escrita de código. Essas descobertas informam o design de arnés consciente do modelo e do orçamento e fornecem um quadro modular para avaliar componentes futuros de arnés. O estudo foi submetido por Run-Ze Fan em 17 de setembro de 2026.

Entidades-Chave: Pessoas: Run-Ze Fan