Управление модельными рисками в банковской сфере испытывается генеративным ИИ. Валидатор в крупном банке сталкивается с ИИ-ассистентом, который составляет кредитные меморандумы, но стандартный шаблон валидации требует образец разработки, который не существует. Модель была обучена поставщиком на невидимых данных. Это ломает традиционную структуру.

Основная проблема—валидация системы, которую невозможно полностью проверить—применима не только в банковской сфере, но и в медицинском обобщении, юридических исследованиях и чат-ботах. Структура, созданная для банков, основанная на классификации рисков, оценке результатов, тестировании устойчивости и мониторинге скрытого дрейфа, переносится на любую область, где ошибка дорого стоит.

Банки полагаются на статистические модели для кредитных решений, капитала, прогнозирования убытков и обнаружения мошенничества. Ошибки приводят к неправильной оценке риска, регуляторным штрафам и крупным убыткам. Кризис 2008 года и торговая потеря 2012 года показали ставки. Регуляторы ответили SR 11-7 в 2011 году, определив модельный риск и требуя осознанного управления. Закон ЕС об ИИ распространяет аналогичные ожидания на высокорисковый ИИ в банках.

Для генеративного ИИ валидация смещается от воспроизведения к проектированию тестов. Поскольку модели нельзя переобучить или полностью проверить, эффективная проверка означает разработку тестов для выявления уверенных ошибок и мониторинга дрейфа. Это руководство предлагает путь вперед для любого серьезного внедрения ИИ.