La gestión de riesgos de modelos en la banca está siendo puesta a prueba por la IA generativa. Un validador en un gran banco se enfrenta a un asistente de IA que redacta memorandos de crédito, pero la plantilla de validación estándar solicita una muestra de desarrollo que no existe. El modelo fue entrenado por un proveedor con datos no vistos. Esto rompe el marco tradicional.

El desafío central—validar un sistema que no se puede inspeccionar completamente—se aplica más allá de la banca a la síntesis médica, la investigación legal y los chatbots. El marco construido para bancos, basado en la clasificación de riesgos, la evaluación de resultados, las pruebas de robustez y el monitoreo de deriva silenciosa, se transfiere a cualquier dominio donde equivocarse sea costoso.

Los bancos dependen de modelos estadísticos para decisiones de crédito, capital, pronóstico de pérdidas y detección de fraude. Los errores conducen a riesgos mal valorados, sanciones regulatorias y grandes pérdidas. La crisis de 2008 y una pérdida comercial de 2012 mostraron lo que estaba en juego. Los reguladores respondieron con SR 11-7 en 2011, definiendo el riesgo de modelo y requiriendo gestión deliberada. La Ley de IA de la UE extiende expectativas similares a la IA de alto riesgo en la banca.

Para la IA generativa, la validación pasa de la replicación al diseño de pruebas. Dado que los modelos no pueden ser reentrenados o inspeccionados completamente, el desafío efectivo significa diseñar pruebas para detectar errores confiados y monitorear la deriva. Este manual ofrece un camino a seguir para cualquier implementación seria de IA.