Una ejecución exitosa de un agente de programación con IA puede seguir ocultando un gran esfuerzo desperdiciado. En un ejemplo, un agente superó las pruebas en el turno 4, pero siguió trabajando hasta el turno 10, y seis de sus ocho líneas modificadas eran innecesarias en comparación con la corrección de referencia. Una comprobación estándar de aprobado/suspenso puntúa esta ejecución igual que una limpia y eficiente.
El autor señala que el agente de este experimento es simulado. En lugar de ejecutar un agente de programación real como Claude Code o Codex, el estudio utilizó una política de Python con semilla para tomar decisiones, mientras que los repositorios, las ediciones, los diffs, las ejecuciones de pruebas y los fallos son reales. El objetivo era medir cuántos turnos adicionales necesita un agente para llegar a un parche que supere las pruebas, cuánto de ese trabajo era necesario y si un flujo de trabajo que lo rodea puede reducir el esfuerzo innecesario.
El análisis se basa en unas 50.000 ejecuciones simuladas, que incluyen un barrido de cumplimiento, pruebas de reglas individuales y un conjunto de pruebas reservado. Se apoya en SWE-bench, un benchmark de 2.294 incidencias reales de GitHub procedentes de 12 repositorios de Python, que solo puntúa el parche final. Dos ejecuciones pueden tener éxito en él mientras una consume muchos más turnos, tiempo y tokens, y deja más cambios pendientes.
El artículo separa el tamaño del parche final del trabajo total, que incluye las ejecuciones de pruebas fallidas, los comandos repetidos, las ediciones en el archivo equivocado y los cambios revertidos. Las tasas de aprobado pasan completamente por alto este esfuerzo. El estudio pretende mostrar lo que cuesta ese trabajo oculto y cómo las reglas del arnés podrían reducirlo.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing