HeadlinesBriefing favicon HeadlinesBriefing.com

Compression ও prediction-এর সমতুল্যতা

Hacker News •
×

গত কয়েক সপ্তাহ ধরে Hacker News-ে “compression হল prediction” এই দাবি নিয়ে আলোচনা হয়েছে। Luca Lombardo এটি entropy ও arithmetic coding নিয়ে 3Blue1Brown-এর ভিড়িয়ো ও ngrok-এর একটি লেখার মাধ্যমে বিশ্লেষণ করেছেন। মূল বুঝ়া: probabilistic models conditional probabilities নির্ধারণ করে, আর entropy coders এদেরকে bits-ে রূপান্তরিত করে। model Q দিয়ে তৈরি sequence x₁:n-এর আদর্শ payload length হল −log₂Q(x₁:n) = Σ−log₂Q(xᵢ|x<ᵢ), যা cumulative logarithmic loss-এর সমান। Lombardo mathematical equivalence-এর পুষ্টি দেন এবং বলেন যে এর জড়ার শিকড় Shannon-এর information theory-এ। তবে compression মাত্র model application নয়—এতে representation, alternatives, model availability এবং decoder operations নিয়ে agreementও প্রয়োজন। আসল প্রশ্ন হলো equivalence প্রয়োগ হওয়ার আগে কীকি fixed করতে হবে এবং কোন খরচ এখনও unmeasured রেয়ে যায়।