HeadlinesBriefing favicon HeadlinesBriefing.com

Jev校准声明引发争议

Hacker News •
×

Jev是Type Safe的首个System One模型,承诺在无需训练数据的情况下为分类任务提供校准概率。文章指出,虽然Jev能产生有用的分数,但其校准声明存在缺陷。校准同时取决于模型和数据分布;在一个数据集上校准的模型在另一个数据集上可能未校准。作者以抛硬币为例,Jev预测正面朝上的概率为0.92,显示出严重的校准偏差。作者建议将Jev的输出视为排序分数而非可靠概率,并建议在需要精确概率时使用几百个标注样本进行低成本重新校准。文章强调,Jev的价值在于无需数据即可分类,但用户在依赖数值阈值或成本计算之前,必须在自有数据上验证校准。