HeadlinesBriefing favicon HeadlinesBriefing.com

规范驱动测试自动化:为什么独立验证至关重要

Towards Data Science •
×

现代AI编码代理可以在同一工作流程中实现规范并生成通过测试套件,但这带来一个关键缺陷:当测试和实现都源于相同的模棱两可的解释时,测试无法与实现产生分歧。这违反了验证与确认(V&V)的核心原则,即建设者不能同时成为验证者。作者基于通用汽车Super Cruise和Ultra Cruise项目的经验强调,独立验证对于发现规范歧义至关重要。例如,一项雷达规范 stating "gap must be a distance the forward radar can measure, up to its rated range of 250m" 留下了关键问题未答——测量从何时开始?是否能测量0米?在缺乏独立审查的情况下,开发人员单方面解决这些歧义,导致自我确认的测试。真正的验证需要独立的解释:一位工程师实现,另一位工程师检查。分歧揭示了部署前的真正规范缺陷。这一原则在传统产品开发中已有数十年的历史,在NASA合同工作期间校准头部和眼动跟踪系统时得到强化,当时独立QA验证了作者的校准工作。作者构建了一个开源Python项目来自动化这种分离,确保测试在质疑实现而非仅确认实现方面具有意义。