Os benchmarks atuais de programação com IA medem a taxa de resolução e o custo em tokens, mas não penalizam o código excessivo, o que dificulta a manutenção das bases de código a longo prazo. O Parsimony foi criado para medir quanto código os modelos de IA adicionam, um fator que importa sobretudo em projetos de longo prazo.
A ferramenta pega os patches que os benchmarks estabelecidos já publicam, incluindo DeepSWE, SWE-bench Verified e SWE-bench Live, e conta unidades de código. Estas são elementos sintáticos como instruções, chamadas, comparações, nomes e literais. Linhas de código não são contadas, por isso amontoar código não é recompensado, e o código removido é subtraído, resultando em um número líquido de unidades adicionadas menos unidades removidas.
Os modelos são classificados pela média de unidades líquidas adicionadas nas tarefas que resolveram, da menor para a maior. A média também inclui as tentativas fracassadas. O status de resolvido vem do SWE-bench Verified, e os testes não são executados novamente. Cada patch é aplicado ao código da tarefa e ambas as versões de cada arquivo alterado são analisadas. Nada é executado, e testes, documentação e arquivos gerados são excluídos. Atualmente, apenas Python é medido.
O autor aponta limitações. Menor nem sempre é melhor, já que as unidades medem tamanho, e não legibilidade ou design. Modelos que escrevem mais código também tendem a resolver mais tarefas, com correlação de Spearman entre 0,33 e 0,60 em tabelas com 26 ou mais modelos. Todos os modelos usam o mesmo agente, o mini-SWE-agent, que ainda influencia a quantidade de código escrita. Os usuários podem adicionar seus próprios dados de benchmark por meio de um arquivo de exemplo para download que permanece no navegador.
Fonte: Hacker News · Resumido por HeadlinesBriefing