ここ数週間にわたり、Hacker Newsで「圧縮とは予測である」という主張が議論されてきました。Luca Lombardoは、エントロピーに関する3Blue1Brownの動画と、算術符号化に関するngrokの記事を通じてこれを分析しています。中心的な洞察は、確率モデルが条件付き確率を割り当て、エントロピー符号化器がそれらをビットに変換する、という点です。モデルQを持つ系列x₁:nについて、理想的なペイロード長は −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ) で、累積対数損失に等しくなります。Lombardoはこの数学的な等価性を確認し、その根源がShannonの情報理論にあると指摘しています。ただし、圧縮はモデルを適用するだけでは済みません。表現、代替案、モデルの可用性、デコーダの操作について合意する必要があります。本当の問題は、等価性が成り立つ前に何を固定しなければならないのか、そしてどのコストがまだ測定されていないのかです。