إدارة مخاطر النماذج في القطاع المصرفي تختبرها الذكاء الاصطناعي التوليدي. يواجه مدقق في بنك كبير مساعد ذكاء اصطناعي يصوغ مذكرات الائتمان، لكن قالب التحقق القياسي يطلب عينة تطوير غير موجودة. تم تدريب النموذج بواسطة مورد على بيانات غير مرئية. هذا يكسر الإطار التقليدي.

التحدي الأساسي—التحقق من نظام لا يمكن فحصه بالكامل—ينطبق خارج القطاع المصرفي على التلخيص الطبي والبحث القانوني وروبوتات الدردشة. الإطار المبني للبنوك، القائم على تصنيف المخاطر، وتقييم النتائج، واختبار المتانة، ومراقبة الانحراف الصامت، ينتقل إلى أي مجال يكون فيه الخطأ مكلفًا.

تعتمد البنوك على النماذج الإحصائية لقرارات الائتمان ورأس المال والتنبؤ بالخسائر واكتشاف الاحتيال. تؤدي الأخطاء إلى مخاطر مسعرة بشكل خاطئ وعقوبات تنظيمية وخسائر كبيرة. أظهرت أزمة 2008 وخسارة تداول في 2012 المخاطر. استجاب المنظمون بـ SR 11-7 في 2011، مع تحديد مخاطر النموذج وطلب إدارة مدروسة. يوسع قانون الذكاء الاصطناعي للاتحاد الأوروبي توقعات مماثلة للذكاء الاصطناعي عالي المخاطر في البنوك.

بالنسبة للذكاء الاصطناعي التوليدي، ينتقل التحقق من التكرار إلى تصميم الاختبارات. نظرًا لأن النماذج لا يمكن إعادة تدريبها أو فحصها بالكامل، فإن التحدي الفعال يعني تصميم اختبارات لالتقاط الأخطاء الواثقة ومراقبة الانحراف. تقدم هذه الخطة مسارًا للأمام لأي نشر جاد للذكاء الاصطناعي.