HeadlinesBriefing favicon HeadlinesBriefing.com

আউটলায়ারদের বিরুদ্ধে শক্তিশালী রৈখিক প্রতিগমন

Towards Data Science •
×

একটি সহজ মডেল যার একটি গুরুতর দুর্বলতা রয়েছে: একটি সরলরেখা বিশ্বাসযোগ্য মনে হতে পারে যতক্ষণ না খারাপ মাপগুলি এটি তার পথ থেকে দূরে টেনে নিয়ে যায়। রৈখিক প্রতিগমন এখনও ভৌত ব্যাখ্যা, সংস্থান-সীমাবদ্ধ ডিভাইস এবং কম্পিউটেশনাল লেটেন্সির জন্য মূল্যবান, কিন্তু সাধারণ লাস্ট স্কোয়ার প্রতিটি পর্যবেক্ষণকে বিশ্বাসযোগ্য বলে মনে করে। একটি ত্রুটিপূর্ণ সেন্সর, যোগাযোগ ত্রুটি বা পক্ষপাতদুষ্ট মাপ একটি পর্যবেক্ষণ তৈরি করতে পারে যা উদ্দিষ্ট সম্পর্ক থেকে অনেক দূরে। কারণ OLS প্রতিটি অবশিষ্টাংশকে বর্গ করে, তাই কয়েকটি এই ধরনের পর্যবেক্ষণ এর অত্যধিক প্রভাব ফেলতে পারে। শক্তিশালী অনুমানকারীরা সেই পর্যবেক্ষণগুলিকে ফিটকে প্রভাবিত করতে বাধা দেওয়ার চেষ্টা করে। চিত্র 1 এবং 2 দেখায় যে চিত্রটি কত দ্রুত পরিবর্তিত হতে পারে। পরিষ্কার পর্যবেক্ষণগুলির সাথে, OLS নামমাত্র সম্পর্কের কাছাকাছি অনুসরণ করে। 30% প্রতিক্রিয়াগুলিকে আউটলায়ার দ্বারা প্রতিস্থাপন করার পরে, একই অনুমানকারীটি তীব্রভাবে দূরে সরে যায়। যাইহোক, একটি প্রতিনিধি শক্তিশালী ফিট নামমাত্র পর্যবেক্ষণ দ্বারা সমর্থিত সম্পর্কের কাছাকাছি থাকে। এই নিবন্ধটি OLS কে অ-শক্তিশালী বেসলাইন হিসাবে পাঁচটি শক্তিশালী অনুমানকারীদের সাথে তুলনা করে: হিউবার রিগ্রেশন, RANSAC, জেমান-ম্যাক্লুর হানির সাথে গ্র্যাজুয়েটেড নন-কনভেক্সিটি, ট্রাঙ্কেটেড লাস্ট স্কোয়ার হানির সাথে GNC এবং অ্যাডাপ্টিভ সিলেক্টিভ আউটলায়ার রিজেক্টিং। অনুমানকারীদের মূল্যায়ন করা হয় ভবিষ্যদ্বাণী ত্রুটি এবং রানটাইম ব্যবহার করে উভয়ই পরিসংখ্যানগত নির্ভুলতা এবং কম্পিউটেশনাল দক্ষতা ক্যাপচার করতে। লেখক মূল গবেষণায় ASOR বিকাশ করেছেন, যাতে মোন্টে কার্লো বাস্তবায়নের জুড়ে প্রলিপ্ত সেটিংসের সাথে একটি স্বচ্ছ তুলনা নিশ্চিত হয়।

মূল সত্ত্বাসমূহ: কোম্পানিগুলি: টুয়ার্ডস ডেটা সাইন্স | ব্যক্তিবর্গ: লেজেন্ড্রে, হিউবার, ফিশলার এবং বোলস, জেমান, ম্যাক্লুর, ইয়াং, চুগতাই

প্রায়শই জিজ্ঞাসিত প্রশ্ন: রৈখিক প্রতিগমনে আউটলায়ারদের শক্তিশালী অনুমানকারীরা কীভাবে পরিচালনা করে?

শক্তিশালী অনুমানকারীরা মডেল থেকে উল্লেখযোগ্যভাবে বিচ্যুত অবশিষ্টাংশগুলিকে কম ওজন দেওয়ার বা প্রত্যাখ্যান করার মাধ্যমে আউটলায়িং পর্যবেক্ষণগুলিকে ফিটকে প্রভাবিত করতে বাধা দেয়, 30% দূষণের সাথে সঠিকতা বজায় রাখে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন: রৈখিক প্রতিগমনে আউটলায়ারদের শক্তিশালী অনুমানকারীরা কীভাবে পরিচালনা করে?

প্রায়শই জিজ্ঞাসিত প্রশ্নের উত্তর: শক্তিশালী অনুমানকারীরা মডেল থেকে উল্লেখযোগ্যভাবে বিচ্যুত অবশিষ্টাংশগুলিকে কম ওজন দেওয়ার বা প্রত্যাখ্যান করার মাধ্যমে আউটলায়িং পর্যবেক্ষণগুলিকে ফিটকে প্রভাবিত করতে বাধা দেয়, 30% দূষণের সাথে সঠিকতা বজায় রাখে।