In den letzten Wochen wurde auf Hacker News die Behauptung diskutiert, dass Kompression Vorhersage sei. Luca Lombardo analysiert dies anhand von 3Blue1Brown-Videos zu Entropie und eines ngrok-Artikels zur arithmetischen Codierung. Die zentrale Erkenntnis: Wahrscheinlichkeitsmodelle ordnen bedingte Wahrscheinlichkeiten zu, Entropiecodierer wandeln diese in Bits um.

Für eine Folge x₁:n mit einem Modell Q ist die ideale Nutzlastlänge −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ), was dem kumulierten logarithmischen Verlust entspricht. Lombardo bestätigt die mathematische Äquivalenz und weist auf ihre Wurzeln in Shannons Informationstheorie hin. Kompression umfasst jedoch mehr als die Anwendung eines Modells: Es muss eine Einigung über die Repräsentation, Alternativen, die Verfügbarkeit des Modells und die Dekodiereroperationen geben.

Die eigentliche Frage ist, was festgelegt werden muss, bevor die Äquivalenz gilt, und welche Kosten noch nicht gemessen werden.