Les benchmarks actuels de programmation par IA mesurent le taux de résolution et le coût en tokens, mais ils ne pénalisent pas le code superflu, ce qui rend les bases de code plus difficiles à maintenir sur le long terme. Parsimony a été conçu pour mesurer la quantité de code que les modèles d'IA ajoutent, un facteur particulièrement important pour les projets de longue durée.
L'outil reprend les correctifs que publient déjà les benchmarks établis, dont DeepSWE, SWE-bench Verified et SWE-bench Live, et compte des unités de code. Il s'agit d'éléments syntaxiques tels que les instructions, les appels, les comparaisons, les noms et les littéraux. Les lignes de code ne sont pas comptées, donc le fait d'entasser le code n'est pas récompensé, et le code supprimé est soustrait, ce qui donne un chiffre net égal aux unités ajoutées moins les unités supprimées.
Les modèles sont classés selon la moyenne des unités nettes ajoutées sur les tâches qu'ils ont résolues, du plus faible au plus élevé. La moyenne inclut aussi les tentatives échouées. Le statut de résolution provient de SWE-bench Verified, et les tests ne sont pas relancés. Chaque correctif est appliqué au code de la tâche et les deux versions de chaque fichier modifié sont analysées. Rien n'est exécuté, et les tests, la documentation et les fichiers générés sont exclus. Seul Python est mesuré pour le moment.
L'auteur signale des limites. Plus petit n'est pas toujours meilleur, car les unités mesurent la taille et non la lisibilité ou la conception. Les modèles qui écrivent davantage de code tendent aussi à résoudre plus de tâches, avec une corrélation de Spearman de 0,33 à 0,60 sur les classements comptant 26 modèles ou plus. Tous les modèles utilisent le même agent, mini-SWE-agent, qui influe toujours sur la quantité de code écrite. Les utilisateurs peuvent ajouter leurs propres données de benchmark grâce à un fichier d'exemple téléchargeable qui reste dans le navigateur.
Source: Hacker News · Résumé par HeadlinesBriefing