Dolphin Bench नाम का एक नया बेंचमार्क यह जाँचता है कि AI सहायक की मेमोरी वास्तव में उसे कार्य पूरे करने में मदद करती है या नहीं, न कि केवल तथ्य याद रखने में। अधिकांश मेमोरी परीक्षणों में सहायक से अतीत के बारे में पूछा जाता है, जैसे कि किसी को कौन सी कॉफ़ी शॉप पसंद है। लेखकों का तर्क है कि यह तरीका बहुत आसान है, क्योंकि प्रश्न ही संकेत देता है कि किसी तथ्य को खोजना होगा। इसके बजाय Dolphin Bench सहायक को एक काम देता है, जैसे कॉफ़ी ऑर्डर करना, और जाँचता है कि उसने सही तथ्य का उपयोग किया या नहीं। हर काल्पनिक व्यक्ति के पास लगभग 500,000 टोकन का चैट इतिहास और 200 कार्य होते हैं, और हर कार्य को प्रासंगिक इतिहास के साथ और उसके बिना, दोनों तरह से जाँचा जाता है। परिणामों में केवल सटीकता ही नहीं, बल्कि कुल लागत और समय भी बताना होता है। Dolphin Bench को Mem0 चलाती है, जो एक मेमोरी सिस्टम बेचने वाली कंपनी है, और इसका सर्वोच्च स्कोर 70.67 प्रतिशत Mem0 की एक सेटअप से आया। लेखक ने Dolphin Bench को दोबारा नहीं चलाया और किसी भी कंपनी के उत्पाद की जाँच नहीं की।
इसके बजाय लेखक ने एक छोटा परीक्षण बनाया। Dana Whitfield नाम की एक काल्पनिक प्रोजेक्ट मैनेजर का लगभग 40,000 टोकन का एक साल का चैट इतिहास है। सहायक ने 30 कार्य पूरे किए, जिनमें उस इतिहास से एक या दो तथ्य चाहिए थे, और उन्हीं तथ्यों से जुड़े 30 सीधे प्रश्नों के उत्तर दिए। दो मॉडलों पर चार मेमोरी डिज़ाइन आज़माए गए, कुल 1,260 रन हुए, और हर रन Weights & Biases में दर्ज किया गया। डिज़ाइन ये थे: पूरा इतिहास देना, इतिहास का सार देने वाली चीट शीट देना, केवल मिलते-जुलते पन्ने निकालना, और सहायक को बिल्कुल भी मेमोरी न देना।
एक परिणाम सबसे अलग दिखा। पूरा इतिहास उपलब्ध होने पर GPT-4o mini ने 97 प्रतिशत प्रश्नों के सही उत्तर दिए, पर केवल 58 प्रतिशत कार्य पूरे किए। रिट्रीवल, जो सस्ती विधि है, ने 89 प्रतिशत कार्य सही किए। पूरा इतिहास देने की विधि की लागत नोट्स खोजने से 20 से 31 गुना अधिक थी और कार्यों में उसका प्रदर्शन बेहतर नहीं था।
लेख के अंत में एक छोटी स्क्रिप्ट है, जिससे पाठक अपने इतिहास और कार्यों पर वही चार मेमोरी डिज़ाइन चला सकते हैं।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित