توضح تجربة الدكتورة كايلا سيكريست مع خوارزمية كشف الإنتان في مستشفى في ميشيغان أزمة متنامية في الذكاء الاصطناعي الطبي: الأدوات التي تؤدي بشكل جيد في المختبرات غالباً ما تفشل في البيئات السريرية الحقيقية. ولّد الخوارزمية تنبيهات كاذبة مستمرة، مما دفع سيكريست وزملاءها إلى تجاهل الإشعارات بالكامل — سيناريو "الراعي الذي كذب بالذئب". لم تعلم إلا لاحقاً أنه تم نشرها في مئات المستشفيات دون اختبارات صارمة في العالم الحقيقي.

يحذر الخبراء من فجوة خطيرة بين مطوري الذكاء الاصطناعي والرعاية الصحية في الخطوط الأمامية. تشير جيس مورلي من مركز ييل للأخلاقيات الرقمية إلى أن الشركات تعطي الأولوية لـ "التحقق الإحصائي" على الفعالية السريرية، مع "أدلة صادمة الضعف على أن الذكاء الاصطناعي يؤثر فعلياً على نتائج المرضى". تفاقم الفجوات التنظيمية وبيانات الأداء غير الكافية المشكلة.

يستشهد المؤيدون بالفوائد الإدارية: تسلط كيمبرلي باول من شركة Nvidia الضوء على تدوين الملاحظات الآلي، بينما تبلغ OpenAI عن تقليل الوقت الإداري بنسبة 80% في Advent Health وتقليل الأخطاء التشخيصية بنسبة 16% في Penda Health في كينيا. يؤكد إريك توبول من معهد Scripps للأبحاث التحويلية القيمة المثبتة في التشخيص، مستشهداً بدراسة 2024 حيث كشفت تنظيرات القولون بمساعدة الذكاء الاصطناعي عن عدد أكبر بكثير من الزوائد اللحمية.

ومع ذلك، يحذر توبول من أن قادة الرعاية الصحية مفتونون بـ "عامل الإعجاب" للذكاء الاصطناعي التوليدي بدلاً من تبني أدوات ذات سجلات حافلة. لا يزال من الضروري تحديد نسبة الفائدة إلى الضرر قبل النشر الواسع.