机器学习的应用不止于准确率，而是从这里开始。团队在构建模型时，很快会从准确率、召回率、精确率、R2以及AUPRC/AUROC等整体指标，转向关注自己对每个单独预测的把握程度。无论汇总分数解释得多么仔细，往往都不足以让利益相关方相信模型在现实中的表现。保形预测（CP）提供了一条可行之路。CP在每个预测旁边给出一个量化不确定性的区间，从而弥合技术性能指标与利益相关方信任之间的鸿沟。
CP的价值在于可靠性。77%的顾客购买概率听起来很有说服力，但如果真实区间是从50%到97%，那么这个预测远不如区间落在70%到85%之间的预测可靠。CP可以为任何预测模型包裹一层统计流程，无论是回归、提升法、装袋法还是神经网络，且无需专门的机器学习软件包。
与自助法和dropout等替代方法相比，CP具有优势。它不需要特定的模型设定，在黑箱模型上也表现良好。与反复重采样相比，其计算成本也很低。其关键性质是可交换性，这使得校准点和测试点可以被视为来自同一分布。如果平均而言，α比例的校准点落在区间之外，那么平均而言，测试点也会保持相同的覆盖水平。
本文在UCI机器学习库的公开数据集“在线购物者购买意向数据集”上演示该算法，这是客户购买预测中典型的已获许可资源。教程首先加载数据，并按CP的要求将其划分为三个子集。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要