Seu assistente de programação informa que todos os testes passaram. A build está verde, então você faz o merge do pull request e segue para o próximo item do backlog. Três semanas depois, surge um problema, mas o agente não está disponível para ajudar. Talvez sua cota de API tenha acabado, ou você esteja preso em um trem de subúrbio sem sinal. O código agora é seu, e algo está quebrado. Você consegue de fato consertá-lo?
Essa pergunta é o problema central por trás do projeto CodeOwnership. Na prática, a posse significa mais do que ter seu nome em um commit. Você só é realmente dono do código se conseguir rastrear sua lógica e corrigi-lo por completo sem ajuda. Testes que passam mostram que o software funciona em um dia bom, mas não provam que você o entende. Isso diz respeito apenas à manutenção, não a licenças ou direitos autorais.
O autor criou o CodeOwnership, um piloto leve, para testar esse ponto cego. Um agente de IA escreve um recurso, e o desenvolvedor registra uma avaliação honesta de quanto o compreende. Em seguida, um segundo agente introduz um único bug pré-registrado. O desenvolvedor abre um relatório de incidente com todas as ferramentas de IA desligadas e tenta localizar o defeito.
O framework de testes, que inclui especificações bloqueadas, testes visíveis e ocultos, uma verificação cega de bugs, uma CLI guiada e uma ferramenta de relatórios que evita uma pontuação combinada única, está concluído. Na primeira execução, o autor avaliou sua confiança em 4 de 5 e parou o cronômetro em 8 minutos e 12 segundos sem ter encontrado o bug. Cerca de 30 minutos depois, em uma sessão posterior, o bug foi localizado, mas o script ainda registrou NOT FIXED porque nenhuma correção havia sido aplicada.
Este é apenas um desenvolvedor em uma única execução, não um benchmark da indústria. Ele mostra como o framework funciona, onde ele falha e como seria um teste realista de compreensão de código.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing