这个说法已经流传了几个月，而且具体到可以被测量的程度：一个表格基础模型在从未训练过该表格的情况下进行预测，却仍然能够击败经过调优的提升模型。如果这是真的，那么半个十年的实践将发生根本性变化。搜索超参数将不再是必需的步骤，而变成一种有时不值得付出代价的奢侈。于是我用自己的显卡进行了测试，使用了十四个数据集、四个竞争者，并且为所有人使用了相同的秒表。表格基础模型是在专门生成的数百万张合成表格上进行预训练的。当一张新表格到达时，它不会调整任何权重：它将训练行作为上下文接收，并在一次前向传递中产生预测。这就是我们已经从语言模型中熟知的上下文学习思想，只不过从单词移到了列上。这就是为什么动词“训练”看起来很奇怪：代码仍然调用它为 fit，但内部没有梯度下降，而是将数据复制到显卡上。这也解释了为什么成本出现在你意想不到的地方。拟合几乎不花费任何成本，而预测才是真正的开销，这正好与树模型相反。这样说起来听起来很抽象，所以这里是一行数据的完整旅程：一个请求到达，带有一个空单元格，模型将其与已经发生的一切进行权衡，在一次传递中解决它并返回一个未来。选择我测量的六种情况中的任何一个，以查看它们的真实数据：违约风险、销售活动、临床再次入院、再犯罪、电力需求、分子筛选。