HeadlinesBriefing favicon HeadlinesBriefing.com

Automatisation de Tests par Spécifications: Vérification Indépendante

Towards Data Science •
×

Les agents de codage d'IA modernes peuvent implémenter des spécifications et produire des suites de tests réussies dans le même flux de travail, mais cela crée un défaut critique : les tests ne peuvent pas être en désaccord avec l'implémentation lorsque les deux découlent de la même interprétation ambiguë. Cela viole le principe fondamental de Vérification et Validation (V&V) selon lequel le constructeur ne doit pas être le vérificateur. S'appuyant sur l'expérience des programmes Super Cruise et Ultra Cruise de General Motors, l'auteur souligne que la vérification indépendante est essentielle pour détecter les ambiguïtés des spécifications.

Par exemple, une spécification radar indiquant "gap must be a distance the forward radar can measure, up to its rated range of 250m" laisse des questions critiques sans réponse : où commence la mesure ? Peut-il mesurer 0 m ? Sans révision indépendante, les développeurs résolvent ces ambiguïtés unilatéralement, conduisant à des tests auto-confirmatoires. La véritable vérification exige une interprétation séparée : un ingénieur implémente, un autre vérifie. Les désaccords révèlent des défauts réels dans les spécifications avant le déploiement.

Ce principe, standard dans le développement de produits traditionnels depuis des décennies, a été renforcé lors de travaux contractuels avec NASA en calibrant des systèmes de suivi de la tête et des yeux, où un QA indépendant a validé les calibrages de l'auteur. L'auteur a construit un projet Python open source pour automatiser cette séparation, garantissant que les tests remetttent significativement en question les implémentations plutôt que de simplement les confirmer.