Trois semaines après le déploiement d'un agent texte-à-SQL, un analyste lui a demandé de « nettoyer les lignes de test ». L'agent a interprété cela comme la suppression de 40% d'une table, mais l'action a été bloquée par une étape d'approbation humaine. Cette étape a été ajoutée parce qu'un réviseur avait précédemment détecté une requête dangereuse.

Cependant, la file d'approbation est rapidement devenue un goulot d'étranglement, avec des attentes allant jusqu'à 20 minutes. Les analystes se sont sentis frustrés, et les réviseurs ont commencé à approuver sans examen complet, un phénomène connu sous le nom de « fatigue du tampon en caoutchouc ». La solution n'était pas d'accélérer la file, mais de router les actions par risque, pas par type d'opération.

La plupart des requêtes sont sûres et ne nécessitent pas de révision, tandis que seules les actions à haut risque nécessitent une supervision humaine. Cette approche préserve la sécurité sans sacrifier le débit, garantissant que l'attention humaine se concentre sur ce qui compte vraiment.