মেশিন লার্নিংয়ে স্ট্যাকিংয়ের পেছনের তত্ত্ব বলে, বেস মডেলগুলো যখন ভিন্ন ধরনের ভুল করে তখন এটি সবচেয়ে ভালো কাজ করে। একটি মেটা-মডেল শিখতে পারে কোথায় কোন মডেলকে বিশ্বাস করা যায়, কিন্তু সব বেস মডেল যদি একই ভুল করে, তবে একত্র করার মতো পরিপূরক তথ্য খুব কম থাকে। তাই স্ট্যাকিংয়ের সুবিধা একটি পরীক্ষাযোগ্য দাবি: বেস মডেলগুলো কতটা ভিন্নভাবে ভুল করে তার সাথে এটি বাড়া উচিত।
এটি পরীক্ষা করতে লেখক 2,000টি নমুনা ও 20টি বৈশিষ্ট্যের একটি সিন্থেটিক বাইনারি শ্রেণিবিন্যাস ডেটাসেটে দুটি অবস্থা তৈরি করেছেন। প্রথমটিতে বৈচিত্র্যময় বেস মডেল ব্যবহার করা হয়েছে: লজিস্টিক রিগ্রেশন, একটি ডিসিশন ট্রি, একটি SVM এবং k-নিকটতম প্রতিবেশী, যার প্রতিটি মৌলিকভাবে ভিন্নভাবে সিদ্ধান্ত সীমানা আঁকে। দ্বিতীয়টিতে সম্পর্কযুক্ত মডেল ব্যবহার করা হয়েছে: র্যান্ডম ফরেস্ট, গ্রেডিয়েন্ট বুস্টিং এবং এক্সট্রা-ট্রিজ, অর্থাৎ ট্রি এনসেম্বলের তিনটি রূপ। ফলাফল একক ট্রেন/টেস্ট বিভাজনের পরিবর্তে ৩ বার পুনরাবৃত্ত স্তরিত ৫-ফোল্ড ক্রস-ভ্যালিডেশন থেকে এসেছে।
বৈচিত্র্যময় অবস্থায়, স্ট্যাকিং ০.৮৩০ পেয়েছে, যেখানে সেরা একক মডেল পেয়েছে ০.৮২০, যা তত্ত্বের সাথে মিলে যাওয়া একটি অর্থবহ ব্যবধান। সম্পর্কযুক্ত অবস্থায়, স্ট্যাকিংয়ের সুবিধা প্রায় মিলিয়ে গেছে, ০.৮৩৫ বনাম ০.৮৩৪, যা ত্রুটির সীমার মধ্যেই একটি পার্থক্য। ভোটিং, যা কেবল মডেলগুলোর গড় নেয়, দুই অবস্থাতেই সেরা একক মডেলের চেয়ে খারাপ করেছে, কারণ এটি দুর্বল মডেলগুলোর ওজন কমাতে পারে না। স্ট্যাকিংয়ের মেটা-মডেল শিখতে পারে প্রতিটি বেস মডেলের উপর কতটা আস্থা রাখা উচিত, তাই এটি এই সমস্যা এড়াতে পেরেছে।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing