HeadlinesBriefing HeadlinesBriefing.com

谷歌规范驱动测试生成:论据的一半

Towards Data Science •
×

谷歌最近的一篇论文显示,规范驱动测试生成在其代码库样本上将缺陷检测率提升了9.8个百分点。但他们的规范是从代码中读取的,这留下我关心的另一半未解决。我几个月来一直认为,由编写代码的同一模型编写的测试套件无法真正与代码产生分歧,为了支持我的主张,我开发了一个新的开源Python库。

软件测试二十年来一直朝着一个方向发展,规范驱动开发(SDD)是该运动最近到达的地方。本文主张再进一步:独立SDD,即ISDD。TDD说测试就是规范。BDD是对此的回应。SDD是随代理一起出现的版本。

目前,规范驱动开发划分工作,但不划分谁拥有知识。相同的规范交给规划者、测试生成器和编码代理。我的论点是沿着这条线切割:给编码代理决策,扣留验收标准,这样测试套件就能告诉代码它是错的。

谷歌的一个团队测量了扣留之前的步骤。"Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation"做的事情比我的论点更窄,并测量了它所做的。他们首先要求它推理代码并写下其契约。该文档成为认知脚手架,测试从它生成。结果,在谷歌自己代码库的生产缺陷上,显示超过一半的时间,生成的测试套件...

来源: Towards Data Science · 由HeadlinesBriefing整理摘要