Bestehende KI-Benchmarks für das Programmieren messen Lösungsquote und Token-Kosten, bestrafen aber überflüssigen Code nicht, wodurch Codebasen langfristig schwerer zu warten sind. Parsimony wurde entwickelt, um zu messen, wie viel Code KI-Modelle hinzufügen, ein Faktor, der vor allem bei langfristigen Projekten zählt.
Das Tool übernimmt die Patches, die etablierte Benchmarks bereits veröffentlichen, darunter DeepSWE, SWE-bench Verified und SWE-bench Live, und zählt Code-Einheiten. Dabei handelt es sich um syntaktische Elemente wie Anweisungen, Aufrufe, Vergleiche, Namen und Literale. Zeilen werden nicht gezählt, sodass das Zusammenpressen von Code nicht belohnt wird. Gelöschter Code wird abgezogen, was einen Nettowert aus hinzugefügten minus entfernten Einheiten ergibt.
Modelle werden nach dem mittleren Nettozuwachs an Einheiten bei den gelösten Aufgaben sortiert, wobei der niedrigste Wert zuerst steht. Der Mittelwert umfasst auch fehlgeschlagene Versuche. Der Lösungsstatus stammt aus SWE-bench Verified, Tests werden nicht erneut ausgeführt. Jeder Patch wird auf den Code der Aufgabe angewendet, und beide Versionen jeder geänderten Datei werden geparst. Es wird nichts ausgeführt, Tests, Dokumentation und generierte Dateien sind ausgeschlossen. Derzeit wird nur Python gemessen.
Der Autor nennt Grenzen. Kleiner ist nicht immer besser, da Einheiten die Größe messen, nicht Lesbarkeit oder Design. Modelle, die mehr Code schreiben, lösen tendenziell auch mehr Aufgaben, mit einer Spearman-Korrelation von 0,33 bis 0,60 in Rankings mit 26 oder mehr Modellen. Alle Modelle verwenden denselben Agenten, mini-SWE-agent, der die Menge des geschriebenen Codes weiterhin beeinflusst. Nutzer können eigene Benchmark-Daten über eine herunterladbare Beispieldatei hinzufügen, die im Browser verbleibt.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing