Au cours des dernières semaines, sur Hacker News, l’affirmation selon laquelle la compression est la prédiction a été débattue. Luca Lombardo l’analyse à travers des vidéos de 3Blue1Brown sur l’entropie et un article de ngrok sur le codage arithmétique. L’idée essentielle : les modèles probabilistes attribuent des probabilités conditionnelles, tandis que les codeurs entropiques les convertissent en bits.

Pour une séquence x₁:n avec un modèle Q, la longueur idéale de la charge utile est −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ), ce qui correspond à la perte logarithmique cumulée. Lombardo confirme l’équivalence mathématique et en rappelle les racines dans la théorie de l’information de Shannon. Cependant, la compression ne se limite pas à l’application d’un modèle : elle suppose aussi un accord sur la représentation, les solutions de rechange, la disponibilité du modèle et les opérations du décodeur.

La vraie question est de savoir ce qui doit être fixé avant que l’équivalence s’applique et quels coûts restent non mesurés.