2023 সালে Berglund এবং সহকর্মীদের পেপার [1] যুক্তি দেয় যে ভাষা মডেলগুলি বিনামূল্যে প্রতিসম তথ্য স্মরণ পায় না। এর উদ্বোধনী উদাহরণ: একজন ব্যক্তি যিনি শিখেন যে Valentina Tereshkova মহাকাশে ভ্রমণকারী প্রথম মহিলা, তিনি "মহাকাশে ভ্রমণকারী প্রথম মহিলা কে?" এই প্রশ্নেরও উত্তর দিতে পারেন। এটি তুচ্ছ মনে হয়। কিন্তু প্রথম বাক্যে প্রশিক্ষিত একটি মডেল, যেখানে নামটি বর্ণনার আগে আসে, "Valentina Tereshkova কে ছিলেন?" উত্তর দিতে শিখতে পারে এবং এখনও বর্ণনা প্রথমে এলে ব্যর্থ হতে পারে। লেখকরা একে রিভার্সাল কার্স বলে।
তাদের প্রমাণ দুটি স্থান থেকে আসে। তারা GPT-3 এবং Llama-1-কে উদ্ভাবিত তথ্যের উপর ফাইন-টিউন করেছে এবং দেখেছে যে যখনই প্রশ্নটি প্রশিক্ষণ বাক্যের বিপরীত ক্রমে আসে, নির্ভুলতা প্রায় শূন্য ছিল। এবং তারা GPT-4-কে বাস্তব সেলিব্রিটিদের উপর পরীক্ষা করেছে: এটি প্রায় 79% সময় একজন সেলিব্রিটির পিতামাতার নাম বলেছে, কিন্তু পিতামাতা দেওয়া হলে শুধুমাত্র প্রায় 33% সময় সেলিব্রিটির নাম বলেছে (ক্লাসিক জুটি হল "টম ক্রুজের মা কে?" বনাম "মেরি লি ফাইফারের ছেলে কে?")।
লেখকরা আরও উল্লেখ করেছেন যে ব্যর্থতা যুক্তির অভাব নয়: যদি প্রম্পটে "A হল B" থাকে, GPT-4 খুব ভালোভাবে "B হল A" অনুমান করতে পারে। সমস্যা দেখা দেয় যখন তথ্যটি প্রশিক্ষণের সময় শেখা হয়েছিল এবং পরে অন্য দিক থেকে স্মরণ করতে হয়। এটাই এটিকে আশ্চর্যজনক করে তোলে, এবং নীচের খেলনা মডেলটি আমাদের সরাসরি তা দেখতে দেয়।
মূল সত্ত্বা: কোম্পানি: Towards Data Science | ব্যক্তি: Berglund, Valentina Tereshkova, Tom Cruise, Mary Lee Pfeiffer
সাধারণ প্রশ্ন: রিভার্সাল কার্স কী?
রিভার্সাল কার্স একটি ঘটনা যেখানে একটি ভাষা মডেল একটি তথ্য যে দিকে শিখেছে সেদিকে স্মরণ করতে পারে কিন্তু বিপরীত দিকে জিজ্ঞাসা করলে ব্যর্থ হয়, যদিও দুটি বিবৃতি যুক্তিগতভাবে প্রতিসম।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing