Большинство ИИ-систем в производственной среде оптимизированы для выдачи ответа, а не для измерения того, насколько этот ответ неопределён. Прогноз роста в 8 процентов выглядит точным, даже когда реалистичные результаты варьируются от снижения до гораздо более значительного роста. Клиент с высоким риском может оказаться чуть выше произвольно установленного порога. Как только прогноз запускает автоматизированное действие, скрытая неопределённость превращается в операционный риск.
Байесовские методы отображают неопределённость с помощью распределений вероятностей вместо единичных оценочных значений. Система должна использовать неопределённость, чтобы решать, когда она может действовать самостоятельно, когда ей нужна проверка и когда ей следует воздержаться. Автоматизация меняет стоимость неопределённости. ИИ-система может оценить тысячи случаев и действовать за считанные секунды. Если она уверенно ошибается, она умножает ошибки.
Байесовская модель объединяет априорное распределение с наблюдаемыми данными для получения апостериорного распределения. Для будущих значений решающее значение имеет апостериорное предиктивное распределение. Оно сочетает неопределённость параметров модели с изменчивостью будущих наблюдений. Модели спроса должны предоставлять апостериорные предиктивные интервалы. Системы оттока должны показывать, остаются ли оценки вероятностей стабильными по сегментам клиентов.
Оценки достоверности не следует считать вероятностями без калибровки. Классификатор может сообщать о 90-процентной уверенности, не будучи правым в 90 процентах случаев. Байесовские ограждения переводят неопределённость в правила для автоматизированных решений. Система должна взвешивать возможные результаты и стоимость ошибочных решений.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing