Sur le risque de sécurité, pour ceux d'entre vous qui construisent des agents : Parce que vous êtes experts dans les préoccupations X, Y et Z, votre agent est susceptible d'être phénoménal sur ces points et vous n'êtes pas en danger dans ces domaines. Mais ! Il y a d'innombrables autres préoccupations que vous avez soit mal, soit pauvrement spécifiées, dont vous n'avez aucune capacité à juger la justesse par vous-même, et dont vous ne pouvez pas éventuellement évaluer le risque. Vous comptez très fortement sur les a priori du modèle pour faire un bon travail d'atténuation de ce risque. Cela se situe extrêmement dans le territoire de l'inconnu-inconnu pour vous comme pour l'utilisation du modèle.

Pour moi, il est difficile d'avoir une confiance très très élevée dans les a priori des modèles car je suis un ingénieur logiciel expert et je ne suis pas satisfait (et ne l'ai jamais été) des comportements par défaut du modèle lors de la production de logiciels. Mon expertise en écriture de logiciels me donne une visibilité inhabituellement bonne et me rend beaucoup moins enclin à faire aveuglément confiance à ses a priori en comptabilité en partie double, finance, droit, opérations, ou quoi que ce soit d'autre que je ne peux pas évaluer personnellement à une profondeur d'expert.

Les ingénieurs logiciels (et récemment, les mathématiciens !) à ce stade sont très familiers avec la "merde" — sortie du modèle qui, bien qu'elle fasse le travail, est mauvaise d'une certaine manière. Chaque utilisation de Record ou gestion d'exceptions excessivement défensive que les ingénieurs logiciels ont jamais vue des modèles est due au fait qu'un non-expert a récompensé le modèle pour ces comportements pendant l'entraînement. Les a priori du modèle sont mauvais.

Entités clés : Personnes : Karan Lyons, David Adrian, Bryan Berg