Benjamin Nweke a découvert un échec subtil dans le pipeline LLM après avoir activé les Sorties Structurées. Son job de réconciliation a signalé des incohérences dans l'analyse des confirmations de paiement. La cause racine : le modèle a rempli un champ de date obligatoire avec la date d'exécution du job d'extraction car il ne pouvait rien renvoyer.

De même, un système de retrieval open-source a mis en place un cache sémantique en utilisant des seuils de similarité cosinus pour éviter la génération redondante. Cependant, le cache manquait d'un mécanisme pour renvoyer une abstraction lorsque les questions, malgré la similarité sémantique, exigeaient des réponses correctes opposées. Cela révèle un défaut de conception critique partagé par les mécanismes de fiabilité : ils réduisent les degrés de liberté de sortie pour simplifier le traitement en aval, mais retirent inadvertemment la capacité d'abstraction.

Les violations de contraintes sont bruyantes, mais les valeurs forcées passent silencieusement par toutes les barrières, créant des échecs difficiles à attraper. Dans le scénario du cache, un hit saute à la fois le retrieval et le modèle entièrement, ne laissant aucune génération à comparer. La découverte souligne que les mécanismes de fiabilité, bien qu'efficaces pour réduire le bruit, peuvent masquer des problèmes d'origine lorsque la bonne réponse est none of the above.