Nas últimas semanas, a alegação de que compressão é predição foi debatida no Hacker News. Luca Lombardo analisa isso por meio dos vídeos do 3Blue1Brown sobre entropia e de um artigo da ngrok sobre codificação aritmética. A ideia central: modelos probabilísticos atribuem probabilidades condicionais, e os codificadores de entropia as convertem em bits.

Para uma sequência x₁:n com o modelo Q, o comprimento ideal da carga útil é −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ), que equivale à perda logarítmica acumulada. Lombardo confirma a equivalência matemática e observa que suas raízes estão na teoria da informação de Shannon. No entanto, a compressão envolve mais do que a aplicação de um modelo: ela exige acordo sobre a representação, alternativas, disponibilidade do modelo e operações do decodificador.

A pergunta real é o que deve ser fixado antes que a equivalência se aplique e quais custos ainda não foram medidos.