Ein erfolgreicher Lauf eines KI-Coding-Agenten kann dennoch viel verschwendeten Aufwand verbergen. In einem Beispiel bestand ein Agent die Tests in Runde 4, arbeitete aber bis Runde 10 weiter, und sechs seiner acht geänderten Zeilen waren im Vergleich zur Referenzkorrektur unnötig. Eine übliche Bestanden-/Nicht-bestanden-Prüfung bewertet diesen Lauf genauso wie einen sauberen und effizienten.
Der Autor weist darauf hin, dass der Agent in diesem Experiment simuliert ist. Statt einen echten Coding-Agenten wie Claude Code oder Codex laufen zu lassen, nutzte die Studie eine Python-Richtlinie mit festem Seed für die Entscheidungen, während Repositories, Änderungen, Diffs, Testläufe und Fehler real sind. Ziel war es zu messen, wie viele zusätzliche Runden ein Agent braucht, um einen bestehenden Patch zu erreichen, wie viel dieser Arbeit tatsächlich nötig war und ob ein umgebender Workflow den unnötigen Aufwand verringern kann.
Die Analyse stützt sich auf rund 50.000 simulierte Läufe, darunter einen Konformitätsdurchlauf, Tests einzelner Regeln und eine zurückgehaltene Testsuite. Sie baut auf SWE-bench auf, einem Benchmark mit 2.294 echten GitHub-Issues aus 12 Python-Repositories, der nur den finalen Patch bewertet. Zwei Läufe können dort beide erfolgreich sein, während einer weit mehr Runden, Zeit und Tokens verbraucht und mehr Änderungen zurücklässt.
Der Artikel trennt die Größe des finalen Patches von der Gesamtarbeit, zu der fehlgeschlagene Testläufe, wiederholte Befehle, Änderungen an der falschen Datei und zurückgesetzte Änderungen gehören. Erfolgsquoten erfassen diesen Aufwand überhaupt nicht. Die Studie will zeigen, was diese verborgene Arbeit kostet und wie Regeln des Harness sie reduzieren könnten.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing