银行模型风险管理正受到生成式AI的考验。一家大型银行的验证者面对一个起草信贷备忘录的AI助手，但标准验证模板要求提供开发样本，而该样本并不存在。该模型由供应商使用未见过的数据训练而成。这打破了传统框架。

核心挑战——验证一个无法完全检查的系统——不仅限于银行业，还适用于医疗摘要、法律研究和聊天机器人。为银行构建的框架，基于风险分级、结果评估、稳健性测试和静默漂移监控，可转移到任何错误代价高昂的领域。

银行依赖统计模型进行信贷决策、资本、损失预测和欺诈检测。错误会导致风险定价错误、监管处罚和巨额损失。2008年危机和2012年交易亏损显示了风险。监管机构在2011年发布了SR 11-7，定义了模型风险并要求审慎管理。欧盟AI法案将类似期望扩展到银行业的高风险AI。

对于生成式AI，验证从复制转向测试设计。由于模型无法重新训练或完全检查，有效的挑战意味着设计测试以捕捉自信的错误并监控漂移。这本手册为任何严肃的AI部署提供了前进之路。