Un récent article de Google a montré que la génération de tests pilotée par spécifications a augmenté la détection de bogues de 9,8 points de pourcentage sur un échantillon de leur base de code. Mais leur spécification est lue à partir du code, ce qui laisse sans résolution la moitié qui m'importe. Je soutiens depuis des mois qu'une suite de tests écrite par le même modèle qui a écrit le code ne peut pas vraiment être en désaccord avec lui, et pour appuyer ma revendication, j'ai développé une nouvelle bibliothèque Python open source.
Les tests logiciels évoluent dans une direction depuis vingt ans, et le développement piloté par spécifications (SDD) est là où ce mouvement est récemment arrivé. Cet article plaide pour une étape supplémentaire : le SDD indépendant, ou ISDD. Le TDD a dit que les tests sont la spécification. Le BDD a été la réponse à cela. Le SDD est la version qui est arrivée avec les agents.
Actuellement, le développement piloté par spécifications divise le travail. Il ne divise pas qui détient la connaissance. La même spécification va au planificateur, au générateur de tests et à l'agent de codage. Mon argument est de couper le long de cette ligne : donner à l'agent de codage les décisions et retenir les critères d'acceptation, afin que la suite de tests puisse dire au code qu'il a tort.
Une équipe de Google a mesuré l'étape avant la rétention. "Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation" fait quelque chose de plus étroit que mon argument. Ils lui demandent d'abord de raisonner sur le code et d'écrire son contrat. Ce document devient un échafaudage cognitif et les tests sont générés à partir de lui. Les résultats, sur des bogues de production de la propre base de code de Google, ont montré que plus de la moitié du temps, une suite de tests générée...
Source: Towards Data Science · Résumé par HeadlinesBriefing