La gestion des risques de modèles dans le secteur bancaire est mise à l'épreuve par l'IA générative. Un validateur dans une grande banque fait face à un assistant IA qui rédige des mémos de crédit, mais le modèle de validation standard demande un échantillon de développement qui n'existe pas. Le modèle a été entraîné par un fournisseur sur des données non vues. Cela brise le cadre traditionnel.

Le défi central—valider un système que l'on ne peut pas inspecter entièrement—s'applique au-delà de la banque à la synthèse médicale, la recherche juridique et les chatbots. Le cadre construit pour les banques, basé sur la catégorisation des risques, l'évaluation des résultats, les tests de robustesse et la surveillance de la dérive silencieuse, se transfère à tout domaine où se tromper coûte cher.

Les banques s'appuient sur des modèles statistiques pour les décisions de crédit, le capital, la prévision des pertes et la détection de fraude. Les erreurs conduisent à des risques mal tarifés, des sanctions réglementaires et des pertes importantes. La crise de 2008 et une perte de trading en 2012 ont montré les enjeux. Les régulateurs ont répondu avec SR 11-7 en 2011, définissant le risque de modèle et exigeant une gestion délibérée. La loi européenne sur l'IA étend des attentes similaires à l'IA à haut risque dans la banque.

Pour l'IA générative, la validation passe de la réplication à la conception de tests. Étant donné que les modèles ne peuvent pas être réentraînés ou entièrement inspectés, un défi efficace signifie concevoir des tests pour détecter les erreurs confiantes et surveiller la dérive. Ce manuel offre une voie à suivre pour tout déploiement sérieux d'IA.