Los benchmarks actuales de programación con IA miden la tasa de resolución y el coste en tokens, pero no penalizan el código excesivo, lo que dificulta el mantenimiento de las bases de código a largo plazo. Parsimony se creó para medir cuánto código añaden los modelos de IA, un factor que importa sobre todo en proyectos de larga duración.
La herramienta toma los parches que ya publican los benchmarks establecidos, entre ellos DeepSWE, SWE-bench Verified y SWE-bench Live, y cuenta las unidades de código. Estas son elementos sintácticos como sentencias, llamadas, comparaciones, nombres y literales. No se cuentan las líneas de código, por lo que apretar el código no se recompensa, y el código eliminado se resta, dando una cifra neta de unidades añadidas menos unidades eliminadas.
Los modelos se clasifican por la media de unidades netas añadidas en las tareas que resolvieron, de menor a mayor. La media también incluye los intentos fallidos. El estado de resuelto proviene de SWE-bench Verified, y las pruebas no se vuelven a ejecutar. Cada parche se aplica al código de la tarea y se analizan ambas versiones de cada archivo modificado. No se ejecuta nada, y se excluyen las pruebas, la documentación y los archivos generados. Actualmente solo se mide Python.
El autor señala limitaciones. Más pequeño no siempre es mejor, ya que las unidades miden el tamaño y no la legibilidad ni el diseño. Los modelos que escriben más código también tienden a resolver más tareas, con una correlación de Spearman de 0,33 a 0,60 en tablas con 26 o más modelos. Todos los modelos usan el mismo agente, mini-SWE-agent, que sigue influyendo en la cantidad de código escrito. Los usuarios pueden añadir sus propios datos de benchmark mediante un archivo de ejemplo descargable que permanece en el navegador.
Fuente: Hacker News · Resumido por HeadlinesBriefing