HeadlinesBriefing favicon HeadlinesBriefing.com

Automatización de Pruebas Impulsada por Especificaciones: Ejecución y Corrección Reales

Towards Data Science •
×

La Parte 2 sigue una ejecución real de pruebas utilizando el framework qikly, donde un agente de prueba independiente detecta un fallo que el agente de codificación pasó por alto. La tarea: verificar el adelantamiento del radar y advertir si es inferior a dos segundos. El agente de codificación, trabajando solo desde los requisitos, permitió un espacio de cero metros—inválido según criterios de prueba no vistos.

Tras una prueba fallida, parcheó el código cambiando un solo carácter, apretando el límite inferior únicamente debido a la prueba oculta, no a reglas explícitas. Esto tomó menos de un minuto y menos de diez llamadas al modelo. La primera versión de la especificación advirtió ambigua mente bajo 'la regla de los dos segundos', dejando exactamente 2.00 segundos sin resolver.

En diez ejecuciones, solo tres convergieron; siete fallaron debido a una mala interpretación de la ambigüedad. Esto demuestra que las suites verdes pueden engañar si los verificadores no son independientes—eco de la regla de Super Cruise de GM: los constructores no deben verificar su propio trabajo. Los criterios ocultos generan falsa confianza; solo los flujos de trabajo con agentes separados revelan la verdadera corrección.