HeadlinesBriefing favicon HeadlinesBriefing.com

تكافؤ الضغط والتنبؤ

Hacker News •
×

خلال الأسابيع الأخيرة، جرى الجدل في Hacker News حول الادعاء بأن الضغط هو التنبؤ. يحلّل Luca Lombardo هذا من خلال مقاطع فيديو من 3Blue1Brown عن الإنتروبيا ومقال من ngrok عن ترميز الأعداد الصحيحة. الفكرة الأساسية: تُخصص النماذج الاحتمالية احتمالات شرطية، ثم يحول مُشفِّرات الإنتروبيا هذه الاحتمالات إلى بتات. بالنسبة إلى تسلسل x₁:n مع النموذج Q، تكون طول الحِمل المثالي هو −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ)، وهو ما يساوي الفقد اللوغاريتمي المتراكم. يؤكد Lombardo التكافؤ الرياضي، مع ملاحظة أن جذوره تعود إلى نظرية المعلومات في Shannon. غير أن الضغط يتجاوز تطبيق النموذج؛ إذ يتطلب الاتفاق على التمثيل، والبدائل، وتوفر النموذج، وعمليات المحلّل. والسؤال الحقيقي هو ما الذي يجب تحديده قبل أن ينطبق التكافؤ، وما التكاليف التي لا تزال دون قياس.