Pengalaman Dr. Kayla Secrest dengan algoritma deteksi sepsis di rumah sakit Michigan mengilustrasikan krisis yang berkembang dalam AI medis: alat yang berkinerja baik di laboratorium sering gagal di pengaturan klinis nyata. Algoritma menghasilkan peringatan palsu konstan, menyebabkan Secrest dan rekan kerja mengabaikan notifikasi sepenuhnya — skenario "anak gembala yang berteriak serigala". Baru nanti dia mengetahui bahwa algoritma telah dideploy ke ratusan rumah sakit tanpa pengujian dunia nyata yang ketat.

Ahli memperingati kesenjangan berbahaya antara pengembang AI dan tenaga kesehatan garis depan. Jess Morley dari Yale Digital Ethics Centre mencatat perusahaan memprioritaskan "validasi statistik" di atas efektivitas klinis, dengan "bukti yang mengejutkan lemah bahwa AI benar-benar berdampak pada hasil pasien". Kesenjangan regulasi dan data kinerja tidak memadai memperburuk masalah.

Para pendukung mengutip manfaat administratif: Kimberly Powell dari Nvidia menyoroti pencatatan otomatis, sementara OpenAI melaporkan pengurangan waktu administratif 80% di Advent Health dan 16% lebih sedikit kesalahan diagnostik di Penda Health Kenya. Eric Topol dari Scripps Research Translational Institute mengonfirmasi nilai terbukti dalam diagnostik, mengutip studi 2024 di mana kolonoskopi bantu AI mendeteksi polip lebih banyak secara substansial.

Namun, Topol memperingati pemimpin kesehatan terpesona oleh "faktor wow" AI generatif bukan mengadopsi alat dengan catatan terbukti. Imperatifnya tetap menentukan rasio manfaat-kerugian sebelum deployment luas.