Durante las últimas semanas, en Hacker News se ha debatido la afirmación de que la compresión es predicción. Luca Lombardo analiza esto mediante los vídeos de 3Blue1Brown sobre entropía y un artículo de ngrok sobre codificación aritmética. La idea clave: los modelos probabilísticos asignan probabilidades condicionales, y los codificadores de entropía las convierten en bits.

Para una secuencia x₁:n con un modelo Q, la longitud ideal de la carga útil es −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ), que equivale a la pérdida logarítmica acumulada. Lombardo confirma la equivalencia matemática y señala que sus raíces están en la teoría de la información de Shannon. Sin embargo, la compresión implica más que la aplicación de un modelo: también exige un acuerdo sobre la representación, las alternativas, la disponibilidad del modelo y las operaciones del decodificador.

La verdadera pregunta es qué debe fijarse antes de que se aplique la equivalencia y qué costes siguen sin medirse.