Dolphin Bench নামে একটি নতুন বেঞ্চমার্ক পরীক্ষা করে দেখে, একটি এআই সহকারীর মেমরি আসলে কাজ শেষ করতে সাহায্য করে কি না, শুধু তথ্য মনে রাখতে নয়। বেশিরভাগ মেমরি পরীক্ষায় সহকারীকে অতীত সম্পর্কে প্রশ্ন করা হয়, যেমন কার পছন্দের কফি শপ কোনটি। লেখকদের যুক্তি, এই পদ্ধতি বড্ড সহজ, কারণ প্রশ্নটিই ইঙ্গিত দেয় যে একটি তথ্য খুঁজে বের করতে হবে। বরং Dolphin Bench সহকারীকে একটি কাজ দেয়, যেমন কফি অর্ডার করা, এবং যাচাই করে সে সঠিক তথ্যটি ব্যবহার করেছে কি না। প্রতিটি কাল্পনিক ব্যক্তির প্রায় ৫০০,০০০ টোকেনের চ্যাট ইতিহাস ও ২০০টি কাজ থাকে, এবং প্রতিটি কাজ প্রাসঙ্গিক ইতিহাস সহ ও ছাড়া দুভাবেই যাচাই করা হয়। ফলাফলে শুধু নির্ভুলতা নয়, মোট খরচ ও সময়ও জানাতে হয়। Dolphin Bench চালায় Mem0, যে কোম্পানি একটি মেমরি সিস্টেম বিক্রি করে, এবং এর সর্বোচ্চ স্কোর ৭০.৬৭ শতাংশ এসেছে Mem0-এর একটি সেটআপ থেকে। লেখক Dolphin Bench পুনরায় চালাননি এবং কোনো কোম্পানির পণ্য পরীক্ষা করেননি।
বরং লেখক একটি ছোট পরীক্ষা তৈরি করেন। Dana Whitfield নামে একজন কাল্পনিক প্রজেক্ট ম্যানেজারের প্রায় ৪০,০০০ টোকেনের এক বছরের চ্যাট ইতিহাস আছে। সহকারী ওই ইতিহাস থেকে এক বা দুটি তথ্য প্রয়োজন এমন ৩০টি কাজ সম্পন্ন করে এবং একই তথ্য সম্পর্কিত ৩০টি সাধারণ প্রশ্নের উত্তর দেয়। দুটি মডেলে চারটি মেমরি নকশা পরীক্ষা করা হয়, মোট ১,২৬০টি রানে, যার প্রতিটি Weights & Biases-এ লগ করা হয়। নকশাগুলো ছিল: পুরো ইতিহাস পাস করা, ইতিহাসের সারসংক্ষেপ দেওয়া একটি চিট শিট পাস করা, শুধু মিলে যাওয়া পাতা পুনরুদ্ধার করা, এবং সহকারীকে কোনো মেমরি না দেওয়া।
একটি ফলাফল বিশেষভাবে নজর কাড়ে। পুরো ইতিহাস থাকলে GPT-4o mini ৯৭ শতাংশ প্রশ্নের সঠিক উত্তর দেয়, কিন্তু মাত্র ৫৮ শতাংশ কাজ সম্পন্ন করে। পুনরুদ্ধার, যা তুলনামূলক সস্তা পদ্ধতি, ৮৯ শতাংশ কাজ সঠিকভাবে সম্পন্ন করে। পুরো ইতিহাসের পদ্ধতিতে খরচ নোট খুঁজে দেখার চেয়ে ২০ থেকে ৩১ গুণ বেশি হয় এবং কাজের ফলাফলে এটি ভালো করেনি।
নিবন্ধের শেষে একটি ছোট স্ক্রিপ্ট রয়েছে, যার মাধ্যমে পাঠকরা নিজেদের ইতিহাস ও কাজের ওপর একই চারটি মেমরি নকশা চালাতে পারেন।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing