HeadlinesBriefing favicon HeadlinesBriefing.com

规格驱动的测试自动化:真实运行与修复

Towards Data Science •
×

第二部分展示了使用qikly框架的真实测试运行,其中独立测试代理发现了编码代理遗漏的缺陷。任务:检查雷达车头距并在低于两秒时发出警告。编码代理仅基于需求工作,允许了零米间距——这违背了未见的测试标准。一次失败测试后,它通过修改一个字符来修补代码,仅因隐藏测试而非显式规则收紧了下限。这用时不到一分钟,且少于十次模型调用。第一个规格版本在“两秒规则”下存在歧义,使恰好2.00秒的情况未被解决。在十次运行中,只有三次收敛;七次因歧义误解而失败。这证明,如果验证者不独立,绿色套件可能会产生误导——呼应通用汽车Super Cruise规则:构建者不应验证自己的工作。隐藏标准会制造虚假信心;只有分离代理工作流才能揭示真正的正确性。