既存のAIコーディングベンチマークは解決率とトークンコストを測定しますが、余分なコードにはペナルティを与えないため、長期的にはコードベースの保守が難しくなります。Parsimonyは、AIモデルがどれだけのコードを追加するかを測定するために作られました。この要素は長期プロジェクトにとって特に重要です。
このツールは、DeepSWE、SWE-bench Verified、SWE-bench Liveなど、既存のベンチマークがすでに公開しているパッチを取り込み、コード単位を数えます。コード単位とは、文、呼び出し、比較、名前、リテラルといった構文要素のことです。コードの行数は数えないため、詰め込んだコードが評価されることはありません。削除されたコードは差し引かれ、追加された単位数から削除された単位数を引いた正味の数値が得られます。
モデルは、解決したタスクにおける正味の平均追加単位数が少ない順にランク付けされます。この平均には失敗した試行も含まれます。解決の成否はSWE-bench Verifiedから取得し、テストは再実行しません。各パッチはタスクのコードに適用され、変更された各ファイルの両方のバージョンが解析されます。何も実行されず、テスト、ドキュメント、生成ファイルは除外されます。現時点で測定対象はPythonのみです。
作者は限界も示しています。単位数はサイズを測るものであり、可読性や設計を測るものではないため、小さいほど良いとは限りません。多くのコードを書くモデルは、より多くのタスクを解決する傾向もあり、26モデル以上のボードではスピアマンの相関係数は0.33から0.60です。すべてのモデルが同じエージェントであるmini-SWE-agentを使用しており、これも書かれるコード量に影響します。ユーザーは、ブラウザ内に保持されるダウンロード可能なサンプルファイルを通じて独自のベンチマークデータを追加できます。
出典: Hacker News · 要約：HeadlinesBriefing