HeadlinesBriefing favicon HeadlinesBriefing.com

Spezifikationsgetriebene Testautomatisierung: Unabhängige Verifikation

Towards Data Science •
×

Moderne KI-Coding-Agenten können Spezifikationen implementieren und erfolgreiche Testsuiten im selben Workflow erstellen, aber dies erzeugt einen kritischen Fehler: Die Tests können nicht mit der Implementierung nicht übereinstimmen, wenn beide aus derselben mehrdeutigen Interpretation stammen. Dies verstößt gegen das grundlegende Prinzip der Verifikation und Validierung (V&V), dass der Ersteller nicht der Verifizierende sein darf. Basierend auf Erfahrungen mit den Super Cruise- und Ultra Cruise-Programmen von General Motors, betont der Autor, dass unabhängige Verifikation unerlässlich ist, um Spezifikationsmehrdeutigkeiten zu erkennen.

Zum Beispiel hinterlässt eine Radarspezifikation, die besagt "gap must be a distance the forward radar can measure, up to its rated range of 250m", kritische Fragen unbeantwortet: Wo beginnt die Messung? Kann es 0 m messen? Ohne unabhängige Überprüfung lösen Entwickler solche Mehrdeutigkeiten einseitig auf, was zu selbstbestätigenden Tests führt. Echte Verifikation erfordert eine separate Interpretation: Ein Ingenieur implementiert, ein anderer prüft. Meinungen offenbaren echte Spezifikationsfehler vor der Bereitstellung.

Dieses Prinzip, das in der traditionellen Produktentwicklung seit Jahrzehnten Standard ist, wurde während NASA-Vertragsarbeiten zur Kalibrierung von Kopier- und Eye-Tracking-Systemen verstärkt, bei denen unabhängiges QA die Kalibrierungen des Autors validierte. Der Autor hat ein Open-Source-Python-Projekt erstellt, um diese Trennung zu automatisieren und sicherzustellen, dass Tests Implementierungen bedeutend herausfordern, anstatt sie nur zu bestätigen.