Ваш ассистент для программирования сообщает, что все тесты пройдены. Сборка зелёная, поэтому вы сливаете пул-реквест и переходите к следующей задаче. Три недели спустя приходит обращение об ошибке, но агент недоступен и помочь не может. Возможно, исчерпан лимит API или вы застряли в электричке без сигнала. Код теперь ваш, и что-то сломалось. Сможете ли вы это исправить?
Этот вопрос лежит в основе проекта CodeOwnership. На практике владение — это не просто наличие вашего имени в коммите. Вы действительно владеете кодом, только если можете проследить его логику и полностью исправить без чьей-либо помощи. Пройденные тесты показывают, что программа работает в хороший день, но не доказывают, что вы её понимаете. Речь идёт только о сопровождении, а не о лицензиях или авторских правах.
Автор создал CodeOwnership, облегчённый пилотный проект, чтобы проверить это слепое пятно. ИИ-агент пишет функцию, а разработчик честно оценивает, насколько хорошо он её понимает. Затем второй агент вносит один заранее зарегистрированный баг. Разработчик открывает отчёт об инциденте, отключив все ИИ-инструменты, и пытается найти дефект.
Тестовая система готова: в неё входят зафиксированные спецификации, видимые и скрытые тесты, слепая проверка наличия бага, управляемый интерфейс командной строки и инструмент отчётов, который не сводит показатели к одной общей оценке. В первом прогоне автор оценил свою уверенность в 4 из 5, а затем остановил таймер на отметке 8 минут 12 секунд, так и не найдя баг. Примерно через 30 минут в последующей сессии баг был найден, однако скрипт всё равно записал статус NOT FIXED, поскольку исправление не было применено.
Это результат одного разработчика в одном прогоне, а не отраслевой эталон. Он показывает, как работает система, где она даёт сбои и как выглядел бы реалистичный тест на понимание кода.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing