В течение последних недель на Hacker News обсуждали утверждение, что сжатие — это предсказание. Luca Lombardo разбирает этот вопрос с помощью видеороликов 3Blue1Brown об энтропии и статьи ngrok об арифметическом кодировании. Главный вывод: вероятностные модели присваивают условные вероятности, а энтропийные кодировщики преобразуют их в биты. Для последовательности x₁:n с моделью Q идеальная длина полезной нагрузки равна −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ) и совпадает с накопленной логарифмической потерей. Lombardo подтверждает математическую эквивалентность и отмечает, что ее корни лежат в теории информации Shannon. Однако сжатие — это не только применение модели: требуется согласие относительно представления, альтернатив, доступности модели и операций декодера. Настоящий вопрос в том, что необходимо зафиксировать до применимости эквивалентности и какие затраты остаются неучтенными.