মিশিগানের একটি হাসপাতালে সেপসিস-নিরীক্ষণ অ্যালগরিদমের সাথে ড. কায়লা সিক্রেস্টের অভিজ্ঞতা মেডিকেল AI-এ বর্ধমান সংকটকে চিত্রিত করে: ল্যাবে ভালো পারফর্ম করার টুলগুলো বাস্তব ক্লিনিক্যাল সেটিং-এ প্রায়শই ব্যর্থ হয়। অ্যালগরিদমটি liên tục মিথ্যা সতর্কতা তৈরি করেছিল, ফলে সিক্রেস্ট এবং সহকর্মীরা বিজ্ঞপ্তিগুলো সম্পূর্ণ উপেক্ষা করেছিল — একটি "ভেড়া এসেছে" পরিস্থিতি। পরে তিনি জানেন যে কঠোর বাস্তব-বিশ্ব পরীক্ষা ছাড়াই এটিকে সैकড়ো হাসপাতালে স্থাপন করা হয়েছে।

বিশেষজ্ঞরা AI ডেভেলপাররা এবং ফ্রন্টলাইন হেলথকেয়ারের মধ্যে বিপদজনক ফাঁক সম্পর্কে সতর্ক করেছেন। ইয়েল ডিজিটাল এথিক্স সেন্টারের জেস মোরলে মন্তব্য করেছেন যে কোম্পানিগুলো "পরিসংখ্যানগত যাচাইকে" ক্লিনিক্যাল কার্যকারিতার উপর অগ্রাধিকার দেয়, "আশ্চর্য দারুণ দুর্বল প্রমাণ যে AI আসলে রোগীর ফলাফলে প্রভাব ফেলে।" নিয়ন্ত্রণ ফাঁক এবং অপর্যাপ্ত পারফরম্যান্স ডেটা সমস্যাটি বাড়িয়েছে।

সমর্থকরা প্রশাসনিক সুবিধার উদাহরণ দেন: Nvidia-এর কিম্বারলি পাওয়েল স্বয়ংক্রিয় নোট-লেখাকে হাইলাইট করেছেন, در حالی که OpenAI অ্যাডভেন্ট হেলথে ৮০% প্রশাসনিক সময় কমানো এবং কেনিয়ার পেন্ডা হেলথে ১৬% কম ডায়াগনস্টিক ত্রুটি রিপোর্ট করেছে। স্ক্রিপস রিসার্চ ট্রান্সলেশনাল ইনস্টিটিউটের এরিক টোপোল ডায়াগনস্টিক্স-এ প্রমাণিত মূল্য নিশ্চিত করেছেন, ২০২৪ সালের একটি গবেষণা উদ্দৃত করে যেখানে AI-সহায়তায় কোলোনোস্কোপি উল্লেখযোগ্যভাবে বেশি পলিপ সনাক্ত করেছিল।

তবে, টোপোল সতর্ক করেছেন যে হেলথকেয়ার নেতারা জেনারেটিভ AI-এর "ওহ ফ্যাক্টর"-এ মুগ্ধ, প্রমাণিত রেকর্ডযুক্ত টুল গ্রহণ না করে। ব্যাপক স্থাপনের আগে লাভ-ক্ষতি অনুপাত নির্ধারণ করা এখনও অনুবন্ধ্য।