يختبر معيار جديد يسمى Dolphin Bench ما إذا كانت ذاكرة مساعد الذكاء الاصطناعي تساعده فعلًا على إنجاز المهام، لا مجرد استرجاع الحقائق. تسأل معظم اختبارات الذاكرة المساعد عن الماضي، مثل المقهى الذي يفضله شخص ما. ويرى المؤلفون أن هذا النهج سهل أكثر من اللازم، لأن السؤال نفسه يوحي بوجوب البحث عن حقيقة ما. بدلًا من ذلك، يمنح Dolphin Bench المساعد مهمة، مثل طلب القهوة، ثم يتحقق مما إذا كان قد استخدم الحقيقة الصحيحة. يملك كل شخص محاكى نحو 500,000 رمز من سجل الدردشة و200 مهمة، ويُتحقق من كل مهمة مع السجل ذي الصلة وبدونه. ويجب أن تُبلغ النتائج عن التكلفة الإجمالية والوقت، لا عن الدقة وحدها. يشغّل Dolphin Bench شركة Mem0، وهي شركة تبيع نظام ذاكرة، وقد جاءت أعلى نتيجة له، وهي 70.67 بالمئة، من إعداد لشركة Mem0. لم يُعد المؤلف تشغيل Dolphin Bench، ولم يختبر منتج أي شركة.
بدلًا من ذلك، بنى المؤلف اختبارًا أصغر. تملك مديرة مشروع خيالية، هي Dana Whitfield، سجل دردشة لعام كامل يبلغ نحو 40,000 رمز. أنجز المساعد 30 مهمة تتطلب حقيقة أو اثنتين من ذلك السجل، وأجاب عن 30 سؤالًا مباشرًا حول الحقائق نفسها. جُربت أربعة تصاميم للذاكرة على نموذجين، عبر 1,260 تشغيلًا، سُجّل كل منها في Weights & Biases. وكانت التصاميم هي: تمرير السجل كاملًا، وتمرير ورقة ملخصة تختصره، واسترجاع الصفحات المطابقة فقط، وعدم منح المساعد أي ذاكرة.
برزت نتيجة واحدة. مع توفر السجل كاملًا، أجاب GPT-4o mini عن 97 بالمئة من الأسئلة بشكل صحيح، لكنه أنجز 58 بالمئة فقط من المهام. أما الاسترجاع، وهو أسلوب أرخص، فقد أصاب 89 بالمئة من المهام. وكلّف نهج السجل الكامل ما بين 20 و31 ضعف تكلفة البحث في الملاحظات، ولم يكن أفضل في المهام.
يختتم المقال بنص برمجي قصير يتيح للقراء تشغيل تصاميم الذاكرة الأربعة نفسها على سجلهم ومهامهم الخاصة.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing