Ein aktuelles Google-Papier zeigte, dass spezifikationsgesteuerte Testgenerierung die Fehlererkennung um 9,8 Prozentpunkte auf einer Stichprobe ihrer Codebasis erhöhte. Aber ihre Spezifikation wird aus dem Code gelesen, was die Hälfte, die mir wichtig ist, ungelöst lässt. Ich argumentiere seit Monaten, dass eine Testsuite, die von demselben Modell geschrieben wurde, das den Code geschrieben hat, ihm nicht wirklich widersprechen kann, und um meine Behauptung zu untermauern, habe ich eine neue Open-Source-Python-Bibliothek entwickelt.
Softwaretests bewegen sich seit zwanzig Jahren in eine Richtung, und die spezifikationsgesteuerte Entwicklung (SDD) ist der Punkt, an dem diese Bewegung kürzlich angekommen ist. Dieser Artikel plädiert für einen weiteren Schritt: unabhängiges SDD oder ISDD. TDD sagte, die Tests seien die Spezifikation. BDD war die Antwort darauf. SDD ist die Version, die mit den Agenten kam.
Derzeit teilt die spezifikationsgesteuerte Entwicklung die Arbeit. Sie teilt nicht, wer das Wissen hat. Dieselbe Spezifikation geht an den Planer, den Testgenerator und den Codierungsagenten. Mein Argument ist, entlang dieser Linie zu schneiden: Gib dem Codierungsagenten die Entscheidungen und behalte die Abnahmekriterien zurück, damit die Testsuite dem Code sagen kann, dass er falsch ist.
Ein Team bei Google hat den Schritt vor dem Zurückhalten gemessen. "Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation" tut etwas Engeres als mein Argument. Sie bitten es zuerst, über den Code zu reasoning und seinen Vertrag zu schreiben. Dieses Dokument wird zu einem kognitiven Gerüst und die Tests werden daraus generiert. Die Ergebnisse an Produktionsfehlern aus Googles eigener Codebasis zeigten, dass mehr als die Hälfte der Zeit eine generierte Testsuite...
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing