Manajemen risiko model di perbankan sedang diuji oleh AI generatif. Seorang validator di bank besar menghadapi asisten AI yang menyusun memo kredit, tetapi template validasi standar meminta sampel pengembangan yang tidak ada. Model dilatih oleh vendor pada data yang tidak terlihat. Ini memecahkan kerangka kerja tradisional.

Tantangan inti—memvalidasi sistem yang tidak dapat diperiksa sepenuhnya—berlaku di luar perbankan untuk ringkasan medis, penelitian hukum, dan chatbot. Kerangka kerja yang dibangun untuk bank, berdasarkan penjenjangan risiko, evaluasi hasil, pengujian ketahanan, dan pemantauan penyimpangan diam, ditransfer ke domain mana pun di mana salah itu mahal.

Bank mengandalkan model statistik untuk keputusan kredit, modal, peramalan kerugian, dan deteksi penipuan. Kesalahan menyebabkan risiko yang salah harga, penalti regulasi, dan kerugian besar. Krisis 2008 dan kerugian perdagangan 2012 menunjukkan taruhannya. Regulator merespons dengan SR 11-7 pada 2011, mendefinisikan risiko model dan mensyaratkan manajemen yang disengaja. Undang-Undang AI UE memperluas harapan serupa untuk AI berisiko tinggi di perbankan.

Untuk AI generatif, validasi bergeser dari replikasi ke desain pengujian. Karena model tidak dapat dilatih ulang atau diperiksa sepenuhnya, tantangan yang efektif berarti merancang tes untuk menangkap kesalahan yang percaya diri dan memantau penyimpangan. Buku pedoman ini menawarkan jalan ke depan untuk setiap penerapan AI yang serius.