機械学習の導入は精度で終わるものではなく、そこから始まります。モデルを構築するチームは、精度、再現率、適合率、R2、AUPRC/AUROCといった全体的な指標から、個々の予測をどの程度信頼できるかへと関心を移していきます。集計されたスコアは、どれほど丁寧に説明されても、実際の性能を利害関係者に納得させるには不十分なことが多いものです。コンフォーマル予測（CP）はその先への道筋を示します。CPは各予測とともに不確実性を定量化する区間を出力し、技術的な性能指標と利害関係者の信頼との間のギャップを埋めます。
CPの価値は信頼性にあります。顧客の購入確率が77%と聞くと強い予測に思えますが、真の範囲が50%から97%であれば、70%から85%に収まる予測よりもはるかに信頼性は低くなります。CPは回帰、ブースティング、バギング、ニューラルネットワークなど、あらゆる予測モデルを統計的な手続きで包み込みます。特殊な機械学習パッケージは必要ありません。
CPはブートストラップやドロップアウトといった代替手法と比べて優れています。特定のモデル仕様を必要とせず、ブラックボックスモデルにもよく適合します。また、繰り返しの再標本化と比べて計算コストも低く抑えられます。その重要な性質は交換可能性であり、これにより較正用の点とテスト用の点を同じ分布から抽出されたものとして扱えます。較正用の点の平均でαの割合が区間の外に出るならば、テスト用の点についても平均して同じカバレッジ水準が成り立ちます。
本記事では、UCI機械学習リポジトリで公開されているOnline Shoppers Purchasing Intentionデータセットを用いてアルゴリズムを示します。これは顧客購買予測に典型的なライセンス付きのリソースです。解説はまずデータを読み込み、CPが必要とするように三つの部分集合に分割するところから始まります。
出典: Towards Data Science · 要約：HeadlinesBriefing