HeadlinesBriefing favicon HeadlinesBriefing.com

Адверсариальная валидация для обнаружения скрытого дрейфа

Towards Data Science •
×

Определенный тип тишины следует за хорошим запуском проверки. Числа на экране, AUC на 0.91, и все кивают в утреннем совещании, потому что, наконец, никто не имел причин задавать вопросы. Доверьте мне, это хорошее чувство. Но это также то, чему я научился не цепиться и не доверять слишком сильно. Модель наконец-то вышла в продакшен в пятницу. Ничего драматичного в этом нет, нет комнаты для боя, нет ночей в обед. Просто развертывание, которое выглядело точно так же, как и двенадцать предыдущих. К вторнику что-то пошло не так, и это заметили не сразу. Точность по помеченным случаям тихо ухудшилась, и ничего из этого не отобразилось как ошибка. Никакого краха, никаких оповещений, никакой красной линии на любой доске, которую кто-либо действительно смотрел. Оно просто сидело там и ухудшалось, пока команда downstream не