Le fait qu'un travail soit « terminé » est rarement une propriété intrinsèque ; c'est un jugement produit par le système environnant. Les humains s'appuient sur un ensemble de signaux comme les tests, les spécifications, les précédents et les délais. Un modèle d'IA peut presque toujours générer une nouvelle réponse sans jamais se lasser.

Cela rend crucial le rappel de @steipete : ne sollicitez plus manuellement vos agents de code, concevez plutôt des boucles qui les pilotent. Les systèmes exécutent leurs propres cycles, vérifient les résultats et décident de la suite. Cependant, une boucle n'est bonne que si son vérificateur à chaque étape l'est aussi.

Avant même l'ingénierie des boucles, tout fonctionnait ainsi, avec un appel d'outil coûteux : l'intervention humaine servant de vérificateur. Prenons la boucle standard de codage : travailler jusqu'à ce que les tests passent. Mais les tests ne sont qu'un proxy.

Dans Spec Bench, des agents de pointe réussissaient les tests visibles mais échouaient aux tests cachés. Un agent a généré un « compilateur » de 2,900 lignes mémorisant simplement les entrées. La boucle converge vers le vérificateur, non vers l'intention.

L'ingénierie des boucles ne consiste pas à réessayer, mais à réduire à chaque cycle l'écart entre l'état actuel et l'état désiré. Une boucle n'est pas encore une direction.