मिशिगन के एक अस्पताल में सेप्सिस-डिटेक्शन एल्गोरिदम के साथ डॉ. कायला सेक्रेस्ट का अनुभव मेडिकल AI में बढ़ते संकट को दर्शाता है: लैब में अच्छा प्रदर्शन करने वाले उपकरण अक्सर वास्तविक नैदानिक सेटिंग्स में विफल हो जाते हैं। एल्गोरिदम ने लगातार झूठे अलर्ट उत्पन्न किए, जिससे सेक्रेस्ट और सहयोगियों ने सूचनाओं को पूरी तरह से अनदेखा कर दिया — एक "भेड़िया आया" परिदृश्य। बाद में ही उन्हें पता चला कि इसे सैकड़ों अस्पतालों में बिना कठोर वास्तविक-विश्व परीक्षण के तैनात किया गया था।

विशेषज्ञ AI डेवलपर्स और फ्रंटलाइन हेल्थकेयर के बीच खतरनाक अंतर की चेतावनी देते हैं। येल डिजिटल एथिक्स सेंटर की जेस मॉर्ले नोट करती हैं कि कंपनियां "सांख्यिकीय सत्यापन" को नैदानिक प्रभावकारिता पर प्राथमिकता देती हैं, इस बात के "चौंकाने वाले खराब सबूत कि AI वास्तव में रोगी परिणामों पर प्रभाव डालता है।" नियामक अंतराल और अपर्याप्त प्रदर्शन डेटा समस्या को बढ़ाते हैं।

समर्थक प्रशासनिक लाभों का हवाला देते हैं: Nvidia की किम्बर्ली पॉवेल स्वचालित नोट-लेकिंग पर प्रकाश डालती हैं, जबकि OpenAI एडवेंट हेल्थ में 80% प्रशासनिक समय में कमी और केन्या के पेंडा हेल्थ में 16% कम नैदानिक त्रुटियों की रिपोर्ट करता है। स्क्रिप्स रिसर्च ट्रांसलेशनल इंस्टीट्यूट के एरिक टोपोल निदान में सिद्ध मूल्य की पुष्टि करते हैं, 2024 के एक अध्ययन का हवाला देते हुए जहां AI-सहायता प्राप्त कोलोनोस्कोपी ने काफी अधिक पॉलीप्स का पता लगाया।

हालांकि, टोपोल चेतावनी देते हैं कि हेल्थकेयर लीडर जेनरेटिव AI के "वाह कारक" से मोहित हैं, न कि सिद्ध रिकॉर्ड वाले उपकरणों को अपनाने से। व्यापक तैनाती से पहले लाभ-से-नुकसान अनुपात स्थापित करना अनिवार्य बना हुआ है।