Ihr Coding-Assistent meldet, dass alle Tests bestanden wurden. Der Build ist grün, also führen Sie den Pull Request zusammen und widmen sich Ihrem Backlog. Drei Wochen später kommt ein Problem, doch der Agent steht nicht zur Verfügung. Vielleicht ist Ihr API-Kontingent aufgebraucht, oder Sie sitzen in einem Pendlerzug ohne Empfang. Der Code gehört nun Ihnen, und irgendetwas ist kaputt. Können Sie ihn tatsächlich reparieren?
Diese Frage steht im Mittelpunkt des CodeOwnership-Projekts. In der Praxis bedeutet Eigentum mehr, als den eigenen Namen in einem Commit zu sehen. Sie besitzen den Code nur wirklich, wenn Sie seine Logik nachvollziehen und ihn vollständig und ohne fremde Hilfe patchen können. Bestandene Tests zeigen, dass Software an einem guten Tag funktioniert, beweisen aber nicht, dass Sie sie verstehen. Es geht hier ausschließlich um Wartung, nicht um Lizenzen oder Urheberrecht.
Der Autor hat CodeOwnership, ein schlankes Pilotprojekt, entwickelt, um diesen blinden Fleck zu untersuchen. Ein KI-Agent schreibt ein Feature, und der Entwickler notiert ehrlich, wie gut er es versteht. Ein zweiter Agent fügt dann einen einzelnen, vorab registrierten Fehler ein. Der Entwickler öffnet einen Incident-Bericht bei abgeschalteten KI-Werkzeugen und versucht, den Defekt zu finden.
Das Testgerüst ist vollständig und umfasst gesperrte Spezifikationen, sichtbare und versteckte Tests, eine blinde Fehlerverifikation, eine geführte CLI sowie ein Berichtswerkzeug, das auf eine einzige Gesamtbewertung verzichtet. Im ersten Durchlauf bewertete der Autor sein Vertrauen mit 4 von 5, beendete die Zeitmessung nach 8 Minuten und 12 Sekunden und hatte den Fehler noch nicht gefunden. Rund 30 Minuten später, in einer späteren Sitzung, wurde der Fehler lokalisiert, das Skript meldete dennoch NOT FIXED, da keine Korrektur angewendet worden war.
Das ist nur ein Entwickler bei einem einzelnen Durchlauf und kein branchenweiter Benchmark. Es zeigt, wie das Gerüst funktioniert, wo es versagt und wie ein realistischer Test des Code-Verständnisses aussehen könnte.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing