Vision Q নামের একটি নতুন বেঞ্চমার্ক AI মডেলগুলোকে কম্পিউটার ভিশনের ছবি একটি নির্দিষ্ট গুণ, যেমন প্রান্তের তীক্ষ্ণতা, দেখে বিচার করতে বলে। লেখকরা বিচারক হিসেবে কাজ করা ২০টি AI মডেল পরীক্ষা করেন। সেরাটি ৬৩.১ শতাংশ ক্ষেত্রে সঠিক ছিল, অর্থাৎ প্রায় তিন-চতুর্থাংশের কাছাকাছি নয়, বরং তিনের মধ্যে প্রায় দুবার। এলোমেলো অনুমান ৩২.২ শতাংশ ক্ষেত্রে সঠিক হতো। সেরা মডেলটি অনুমানের চেয়ে স্পষ্টভাবে ভালো, তবু এক-তৃতীয়াংশের বেশি সময় ভুল করে।
এই ব্যবধানই এই প্রবন্ধের কারণ। সেরা AI বিচারক যদি এত ভুল করে, তবে তার ওপর ভরসা করার আগে আপনার নিজের বিচারককে যাচাই করা উচিত। এই স্কোরগুলো ল্যাবের বাইরেও গুরুত্বপূর্ণ, কারণ মানুষ ইতিমধ্যে AI সহকারীদের ছবি দেখে উত্তর দিতে বলছে। ধরুন আপনি একটি ওষুধের বাক্সের দুটি ছবি আপলোড করে জিজ্ঞেস করলেন কতটুকু খেতে হবে, তারপর ছবি দুটি উল্টো ক্রমে আপলোড করলেন। উত্তর বদলে গেলে আপনাকে জানতে হবে লেবেলটি পড়া কঠিন ছিল নাকি ছবির ক্রম ফলাফলকে প্রভাবিত করেছে।
লেখক পরীক্ষা করেছেন ছবির ক্রম মডেলের উত্তরকে প্রভাবিত করতে পারে কি না। এক পরীক্ষায় Claude-কে দুটি ছবি দেখিয়ে জিজ্ঞেস করা হয়েছিল কোনটিতে কম কমপ্রেশন আর্টিফ্যাক্ট আছে। ২৪টি পরীক্ষায় Claude ২৩বার দ্বিতীয় ছবিটি বেছে নেয়, ছবির বিষয় যাই হোক না কেন। এতে শক্তিশালী স্থানগত পক্ষপাতের ইঙ্গিত মেলে, যদিও ফলটি লেখকের নিজের পরীক্ষার ছবি থেকে এসেছে এবং সব ধরনের ছবিতে নাও খাটতে পারে।
এরপর লেখক মূল ছবি নিয়ে একটি ছোট পরীক্ষা সেট তৈরি করেন, যেখানে প্রতিটি জোড়ায় একটি জানা পরিবর্তন ছিল, এবং প্রতিটি উত্তর Weights & Biases-এ লিপিবদ্ধ করেন। লক্ষ্য ছিল একটি ছোট স্ক্রিপ্ট, যা ইমেজ বিচারকের তিনটি বিষয় যাচাই করে: সে কি আপনার জিজ্ঞাসিত বিবরণে মনোযোগ দেয়, প্রথম বা দ্বিতীয় ছবির প্রতি ঝোঁক দেখায় কি না, এবং উত্তর বানিয়ে বলে কি না।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing