Существующие бенчмарки программирования с ИИ измеряют долю решённых задач и стоимость токенов, но не штрафуют за избыточный код, из-за чего кодовые базы в долгосрочной перспективе труднее поддерживать. Parsimony создан для измерения того, сколько кода добавляют модели ИИ, — фактора, который особенно важен для долгосрочных проектов.
Инструмент берёт патчи, которые уже публикуют известные бенчмарки, включая DeepSWE, SWE-bench Verified и SWE-bench Live, и подсчитывает единицы кода. Это синтаксические элементы: операторы, вызовы, сравнения, имена и литералы. Строки кода не считаются, поэтому уплотнение кода не поощряется, а удалённый код вычитается, давая чистую величину: добавленные единицы минус удалённые.
Модели ранжируются по средней чистой величине добавленных единиц на решённых задачах, от меньшей к большей. В среднее входят и неудачные попытки. Статус решения берётся из SWE-bench Verified, тесты повторно не запускаются. Каждый патч применяется к коду задачи, и разбираются обе версии каждого изменённого файла. Ничего не выполняется, тесты, документация и сгенерированные файлы исключаются. Сейчас измеряется только Python.
Автор указывает на ограничения. Меньше не всегда лучше, поскольку единицы измеряют размер, а не читаемость или дизайн. Модели, которые пишут больше кода, также склонны решать больше задач: корреляция Спирмена составляет от 0,33 до 0,60 в таблицах с 26 и более моделями. Все модели используют одного агента, mini-SWE-agent, который всё равно влияет на объём написанного кода. Пользователи могут добавить собственные данные бенчмарков через загружаемый пример файла, который остаётся в браузере.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing