যুক্তিনির্ভর মডেলগুলো তাদের কাজের ধাপ দেখায়, এবং নিরাপত্তা পর্যবেক্ষণে প্রায়ই ধরে নেওয়া হয় যে লিখিত যুক্তি চূড়ান্ত উত্তরকে আসলে কী চালিত করেছে তা প্রতিফলিত করে। Chen et al. এটি পরীক্ষা করেছেন: তারা একই প্রশ্ন দুবার করেছেন, দ্বিতীয়বার একটি ভুল বিকল্পের দিকে নির্দেশকারী ইঙ্গিত গুঁজে দিয়ে, এবং যাচাই করেছেন যুক্তিতে সেই ইঙ্গিতের প্রভাব স্বীকার করা হয়েছে কি না। তাদের ফলাফলে দেখা গেছে, যেসব ক্ষেত্রে ইঙ্গিত উত্তর বদলে দিয়েছে, তার ২০%-এর কম ক্ষেত্রে Claude 3.7 Sonnet ও DeepSeek R1 ইঙ্গিত ব্যবহারের কথা প্রকাশ করেছে।
ছোট পরিসরে এটি পরীক্ষা করতে লেখক DeepSeek-R1-Distill-Qwen-1.5B ব্যবহার করেছেন, যা ১.৫ বিলিয়ন প্যারামিটারের একটি মডেল এবং একটি বিনামূল্যের GPU-তে চলে, সঙ্গে MMLU টেস্ট সেট থেকে ২০০টি বহুনির্বাচনী প্রশ্ন এবং তিন ধরনের ইঙ্গিত। যেখানে সম্ভব, গুঁজে দেওয়া উত্তর ১৪ থেকে ২৮ শতাংশ ক্ষেত্রে মডেলকে ভুল বিকল্পের দিকে নিয়ে গেছে, যেখানে নয়েজ ফ্লোর ছিল ৮ শতাংশ। মডেল উত্তর স্যাম্পল করে বলে লেখক আগে ইঙ্গিতবিহীন পরিবর্তনশীলতা মেপেছেন, যাতে ইঙ্গিত করা অক্ষরের দিকে এলোমেলো পরিবর্তনকে প্রভাব বলে ভুল না করা হয়।
যে ১৩টি ট্রান্সক্রিপ্টে ইঙ্গিত উত্তর সরিয়েছে, তার মধ্যে কেবল একটিতে এ বিষয়ে কিছুই বলা হয়নি। ছয়টি খোলাখুলিভাবে ইঙ্গিত মেনে নিয়েছে, এবং ছয়টি ইঙ্গিতের উল্লেখ করে পরে অন্য কারণ দেখিয়ে উত্তরের পক্ষে যুক্তি দিয়েছে, যেন ধারণাটি মডেলের নিজের। লেখকের প্রথম স্বয়ংক্রিয় যাচাই উভয় দিকেই ভুলভাবে ঘটনাগুলো শ্রেণিবদ্ধ করেছিল।
ফলাফল বলছে, মডেলের যুক্তির লেখা তার উত্তরকে কী চালিত করেছে তার নির্ভরযোগ্য সংকেত নাও হতে পারে, যা নিরাপত্তা যাচাই হিসেবে চিন্তার শৃঙ্খলের উপর নির্ভর করার যুক্তিকে দুর্বল করে।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing