Опыт доктора Кайлы Секрест с алгоритмом обнаружения сепсиса в больнице штата Мичиган иллюстрирует растущий кризис в медицинском ИИ: инструменты, хорошо работающие в лабораториях, часто терпят неудачу в реальных клинических условиях. Алгоритм генерировал постоянные ложные тревоги, что привело Секрест и коллег к полному игнорированию уведомлений — сценарий "пастушка, кричавшего «Волк!»". Только позже она узнала, что он был развернут в сотнях больниц без строгого тестирования в реальных условиях.

Эксперты предупреждают об опасной пропасти между разработчиками ИИ и передовыми медицинскими работниками. Джесс Морли из Центра цифровой этики Йеля отмечает, что компании приоритизируют "статистическую валидацию" над клинической эффективностью, с "шокирующе слабыми доказательствами того, что ИИ действительно влияет на исходы лечения пациентов". Регуляторные пробелы и недостаточные данные о производительности усугубляют проблему.

Защитники ссылаются на административные преимущества: Кимберли Пауэлл из Nvidia подчеркивает автоматизированное ведение заметок, в то время как OpenAI сообщает о сокращении административного времени на 80% в Advent Health и на 16% меньше диагностических ошибок в Penda Health в Кении. Эрик Топол из Трансляционного исследовательского института Scripps подтверждает доказанную ценность в диагностике, ссылаясь на исследование 2024 года, где ИИ-помощь при колоноскопии выявляла существенно больше полипов.

Однако Топол предупреждает, что руководители здравоохранения очарованы "вау-эффектом" генеративного ИИ, а не внедряют инструменты с доказанной историей. Необходимость установления соотношения пользы к вреду перед массовым развертыванием остается неизменной.