最近几周，在 Hacker News 上，人们一直在争论“压缩就是预测”这一说法。Luca Lombardo 借助 3Blue1Brown 关于熵的视频和 ngrok 关于算术编码的文章对此进行了分析。核心洞见是：概率模型分配条件概率，熵编码器则将这些概率转换为比特。对于由模型 Q 描述、长度为 n 的序列 x₁:n，理想的负载长度为 −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ)，这与累计对数损失相等。Lombardo 证实了这种数学等价性，并指出其根源在 Shannon 的信息理论中。然而，压缩不仅仅是应用模型——它还要求对表示方式、备选方案、模型可用性以及解码器操作达成一致。真正的问题在于，在等价性成立之前必须固定哪些内容，以及哪些成本仍未被衡量。