本番環境で稼働するほとんどのAIシステムは、答えを提供することに最適化されており、その答えがどれほど不確実かを測定することには最適化されていません。8パーセントの成長予測は正確に見えますが、現実的な結果は減少からはるかに大きな増加まで及ぶ可能性があります。高リスクの顧客は、恣意的に設定されたしきい値のすぐ上に位置しているかもしれません。予測が自動化されたアクションをトリガーした瞬間に、隠れた不確実性は運用リスクへと変わります。
ベイズ手法は、単一の推定値ではなく確率分布を通じて不確実性をマッピングします。システムは不確実性を活用して、いつ単独で行動できるか、いつ精査が必要か、いつ判断を控えるべきかを決定すべきです。自動化は不確実性のコストを変えます。AIシステムは数千件のケースを評価し、数秒以内に行動できます。自信を持って間違えれば、誤りを何倍にも拡大します。
ベイズモデルは事前分布と観測データを組み合わせて事後分布を生成します。将来の値については、事後予測分布が極めて重要です。これはモデルパラメータに関する不確実性と将来の観測値の変動性を組み合わせたものです。需要モデルは事後予測区間を提供すべきです。解約（チャーン）システムは、確率推定が顧客セグメント全体で安定しているかどうかを示すべきです。
信頼スコアは、較正されない限り確率として扱うべきではありません。分類器は、実際には90パーセントの割合で正しいわけではないのに、90パーセントの信頼度を報告することがあります。ベイズガードレールは不確実性を自動化された意思決定のためのルールに変換します。システムは起こり得る結果と誤った決定のコストを比較衡量しなければなりません。
出典: Towards Data Science · 要約：HeadlinesBriefing