I Tested Four Ways to Give an AI Assistant a Memory. The Obvious One Was the Worst Value.

A new benchmark called Dolphin Bench tests whether an AI assistant's memory actually helps it complete tasks, rather than just recalling facts. Most memory tests ask an assistant about the past, such as which coffee shop someone likes. The authors argue that approach is too easy, because the question itself signals that a fact must be looked up. Dolphin Bench instead gives the assistant a job, such as ordering coffee, and checks whether it used the right fact. Each simulated person has about 500,000 tokens of chat history and 200 tasks, and every task is checked both with and without the relevant history. Results must also report total cost and time, not only accuracy. Dolphin Bench is run by Mem0, a company that sells a memory system, and its top score of 70.67 percent came from a Mem0 setup. The author did not reproduce Dolphin Bench and tested no company's product.

Instead, the author built a smaller test. A made-up project manager, Dana Whitfield, has a year of chat history of about 40,000 tokens. An assistant completed 30 tasks requiring one or two facts from that history and answered 30 plain questions about the same facts. Four memory designs were tried on two models, across 1,260 runs, with every run logged to Weights & Biases. The designs were: passing the whole history, passing a cheat sheet summarizing it, retrieving only the matching pages, and giving the assistant no memory at all.

One result stood out. With the whole history available, GPT-4o mini answered 97 percent of the questions correctly but completed only 58 percent of the tasks. Retrieval, a cheaper method, got 89 percent of the tasks right. The full-history approach cost 20 to 31 times more than looking up notes and did no better on the tasks.

The article closes with a short script that lets readers run the same four memory designs on their own history and tasks.

يختبر معيار جديد يسمى Dolphin Bench ما إذا كانت ذاكرة مساعد الذكاء الاصطناعي تساعده فعلًا على إنجاز المهام، لا مجرد استرجاع الحقائق. تسأل معظم اختبارات الذاكرة المساعد عن الماضي، مثل المقهى الذي يفضله شخص ما. ويرى المؤلفون أن هذا النهج سهل أكثر من اللازم، لأن السؤال نفسه يوحي بوجوب البحث عن حقيقة ما. بدلًا من ذلك، يمنح Dolphin Bench المساعد مهمة، مثل طلب القهوة، ثم يتحقق مما إذا كان قد استخدم الحقيقة الصحيحة. يملك كل شخص محاكى نحو 500,000 رمز من سجل الدردشة و200 مهمة، ويُتحقق من كل مهمة مع السجل ذي الصلة وبدونه. ويجب أن تُبلغ النتائج عن التكلفة الإجمالية والوقت، لا عن الدقة وحدها. يشغّل Dolphin Bench شركة Mem0، وهي شركة تبيع نظام ذاكرة، وقد جاءت أعلى نتيجة له، وهي 70.67 بالمئة، من إعداد لشركة Mem0. لم يُعد المؤلف تشغيل Dolphin Bench، ولم يختبر منتج أي شركة.

بدلًا من ذلك، بنى المؤلف اختبارًا أصغر. تملك مديرة مشروع خيالية، هي Dana Whitfield، سجل دردشة لعام كامل يبلغ نحو 40,000 رمز. أنجز المساعد 30 مهمة تتطلب حقيقة أو اثنتين من ذلك السجل، وأجاب عن 30 سؤالًا مباشرًا حول الحقائق نفسها. جُربت أربعة تصاميم للذاكرة على نموذجين، عبر 1,260 تشغيلًا، سُجّل كل منها في Weights & Biases. وكانت التصاميم هي: تمرير السجل كاملًا، وتمرير ورقة ملخصة تختصره، واسترجاع الصفحات المطابقة فقط، وعدم منح المساعد أي ذاكرة.

برزت نتيجة واحدة. مع توفر السجل كاملًا، أجاب GPT-4o mini عن 97 بالمئة من الأسئلة بشكل صحيح، لكنه أنجز 58 بالمئة فقط من المهام. أما الاسترجاع، وهو أسلوب أرخص، فقد أصاب 89 بالمئة من المهام. وكلّف نهج السجل الكامل ما بين 20 و31 ضعف تكلفة البحث في الملاحظات، ولم يكن أفضل في المهام.

يختتم المقال بنص برمجي قصير يتيح للقراء تشغيل تصاميم الذاكرة الأربعة نفسها على سجلهم ومهامهم الخاصة.

Dolphin Bench নামে একটি নতুন বেঞ্চমার্ক পরীক্ষা করে দেখে, একটি এআই সহকারীর মেমরি আসলে কাজ শেষ করতে সাহায্য করে কি না, শুধু তথ্য মনে রাখতে নয়। বেশিরভাগ মেমরি পরীক্ষায় সহকারীকে অতীত সম্পর্কে প্রশ্ন করা হয়, যেমন কার পছন্দের কফি শপ কোনটি। লেখকদের যুক্তি, এই পদ্ধতি বড্ড সহজ, কারণ প্রশ্নটিই ইঙ্গিত দেয় যে একটি তথ্য খুঁজে বের করতে হবে। বরং Dolphin Bench সহকারীকে একটি কাজ দেয়, যেমন কফি অর্ডার করা, এবং যাচাই করে সে সঠিক তথ্যটি ব্যবহার করেছে কি না। প্রতিটি কাল্পনিক ব্যক্তির প্রায় ৫০০,০০০ টোকেনের চ্যাট ইতিহাস ও ২০০টি কাজ থাকে, এবং প্রতিটি কাজ প্রাসঙ্গিক ইতিহাস সহ ও ছাড়া দুভাবেই যাচাই করা হয়। ফলাফলে শুধু নির্ভুলতা নয়, মোট খরচ ও সময়ও জানাতে হয়। Dolphin Bench চালায় Mem0, যে কোম্পানি একটি মেমরি সিস্টেম বিক্রি করে, এবং এর সর্বোচ্চ স্কোর ৭০.৬৭ শতাংশ এসেছে Mem0-এর একটি সেটআপ থেকে। লেখক Dolphin Bench পুনরায় চালাননি এবং কোনো কোম্পানির পণ্য পরীক্ষা করেননি।

বরং লেখক একটি ছোট পরীক্ষা তৈরি করেন। Dana Whitfield নামে একজন কাল্পনিক প্রজেক্ট ম্যানেজারের প্রায় ৪০,০০০ টোকেনের এক বছরের চ্যাট ইতিহাস আছে। সহকারী ওই ইতিহাস থেকে এক বা দুটি তথ্য প্রয়োজন এমন ৩০টি কাজ সম্পন্ন করে এবং একই তথ্য সম্পর্কিত ৩০টি সাধারণ প্রশ্নের উত্তর দেয়। দুটি মডেলে চারটি মেমরি নকশা পরীক্ষা করা হয়, মোট ১,২৬০টি রানে, যার প্রতিটি Weights & Biases-এ লগ করা হয়। নকশাগুলো ছিল: পুরো ইতিহাস পাস করা, ইতিহাসের সারসংক্ষেপ দেওয়া একটি চিট শিট পাস করা, শুধু মিলে যাওয়া পাতা পুনরুদ্ধার করা, এবং সহকারীকে কোনো মেমরি না দেওয়া।

একটি ফলাফল বিশেষভাবে নজর কাড়ে। পুরো ইতিহাস থাকলে GPT-4o mini ৯৭ শতাংশ প্রশ্নের সঠিক উত্তর দেয়, কিন্তু মাত্র ৫৮ শতাংশ কাজ সম্পন্ন করে। পুনরুদ্ধার, যা তুলনামূলক সস্তা পদ্ধতি, ৮৯ শতাংশ কাজ সঠিকভাবে সম্পন্ন করে। পুরো ইতিহাসের পদ্ধতিতে খরচ নোট খুঁজে দেখার চেয়ে ২০ থেকে ৩১ গুণ বেশি হয় এবং কাজের ফলাফলে এটি ভালো করেনি।

নিবন্ধের শেষে একটি ছোট স্ক্রিপ্ট রয়েছে, যার মাধ্যমে পাঠকরা নিজেদের ইতিহাস ও কাজের ওপর একই চারটি মেমরি নকশা চালাতে পারেন।

Ein neuer Benchmark namens Dolphin Bench prüft, ob das Gedächtnis eines KI-Assistenten tatsächlich beim Erledigen von Aufgaben hilft, statt nur Fakten abzurufen. Die meisten Gedächtnistests fragen den Assistenten nach der Vergangenheit, etwa welches Café jemand bevorzugt. Die Autoren halten diesen Ansatz für zu einfach, weil die Frage selbst signalisiert, dass ein Fakt nachgeschlagen werden muss. Dolphin Bench gibt dem Assistenten stattdessen eine Aufgabe, zum Beispiel einen Kaffee zu bestellen, und prüft, ob er den richtigen Fakt verwendet hat. Jede simulierte Person hat rund 500.000 Token Chatverlauf und 200 Aufgaben, und jede Aufgabe wird sowohl mit als auch ohne den relevanten Verlauf überprüft. Die Ergebnisse müssen außerdem Gesamtkosten und Zeitaufwand ausweisen, nicht nur die Genauigkeit. Dolphin Bench wird von Mem0 betrieben, einem Unternehmen, das ein Gedächtnissystem verkauft, und die Bestleistung von 70,67 Prozent stammt von einer Mem0-Konfiguration. Der Autor hat Dolphin Bench nicht nachgebaut und keine Produkte eines Unternehmens getestet.

Stattdessen erstellte der Autor einen kleineren Test. Eine erfundene Projektmanagerin, Dana Whitfield, hat ein Jahr Chatverlauf mit etwa 40.000 Token. Ein Assistent erledigte 30 Aufgaben, die ein oder zwei Fakten aus diesem Verlauf erforderten, und beantwortete 30 einfache Fragen zu denselben Fakten. Vier Gedächtnisdesigns wurden mit zwei Modellen in 1.260 Durchläufen getestet, wobei jeder Durchlauf in Weights & Biases protokolliert wurde. Die Designs waren: den gesamten Verlauf übergeben, einen Spickzettel mit einer Zusammenfassung übergeben, nur die passenden Seiten abrufen und dem Assistenten gar kein Gedächtnis geben.

Ein Ergebnis stach hervor. Mit dem vollständigen Verlauf beantwortete GPT-4o mini 97 Prozent der Fragen richtig, erledigte aber nur 58 Prozent der Aufgaben. Das Abrufen, eine günstigere Methode, löste 89 Prozent der Aufgaben richtig. Der Ansatz mit dem vollständigen Verlauf kostete das 20- bis 31-Fache des Nachschlagens in Notizen und schnitt bei den Aufgaben nicht besser ab.

Der Artikel endet mit einem kurzen Skript, mit dem Leser dieselben vier Gedächtnisdesigns mit ihrem eigenen Verlauf und ihren eigenen Aufgaben ausprobieren können.

Una nueva prueba de referencia llamada Dolphin Bench evalúa si la memoria de un asistente de IA realmente le ayuda a completar tareas, en lugar de limitarse a recordar datos. La mayoría de las pruebas de memoria preguntan al asistente sobre el pasado, por ejemplo, qué cafetería le gusta a alguien. Los autores sostienen que este enfoque es demasiado fácil, porque la propia pregunta indica que hay que buscar un dato. Dolphin Bench, en cambio, le asigna al asistente un trabajo, como pedir un café, y comprueba si usó el dato correcto. Cada persona simulada tiene unos 500.000 tokens de historial de chat y 200 tareas, y cada tarea se verifica con y sin el historial relevante. Los resultados también deben informar el costo total y el tiempo, no solo la precisión. Dolphin Bench lo ejecuta Mem0, una empresa que vende un sistema de memoria, y su puntuación máxima, de 70,67 por ciento, procede de una configuración de Mem0. El autor no reprodujo Dolphin Bench ni probó el producto de ninguna empresa.

En su lugar, el autor creó una prueba más pequeña. Una gestora de proyectos inventada, Dana Whitfield, tiene un año de historial de chat de unos 40.000 tokens. Un asistente completó 30 tareas que requerían uno o dos datos de ese historial y respondió 30 preguntas directas sobre los mismos datos. Se probaron cuatro diseños de memoria con dos modelos, en 1.260 ejecuciones, registradas todas en Weights & Biases. Los diseños fueron: pasar el historial completo, pasar una hoja de resumen que lo condensa, recuperar solo las páginas coincidentes y no dar al asistente ninguna memoria.

Uno de los resultados destacó. Con el historial completo disponible, GPT-4o mini respondió correctamente el 97 por ciento de las preguntas, pero completó solo el 58 por ciento de las tareas. La recuperación, un método más barato, acertó el 89 por ciento de las tareas. El enfoque de historial completo costó de 20 a 31 veces más que consultar notas y no obtuvo mejores resultados en las tareas.

El artículo concluye con un breve script que permite a los lectores ejecutar los mismos cuatro diseños de memoria con su propio historial y sus propias tareas.

Un nouveau benchmark appelé Dolphin Bench vérifie si la mémoire d'un assistant IA l'aide réellement à accomplir des tâches, plutôt que de simplement se rappeler des faits. La plupart des tests de mémoire interrogent l'assistant sur le passé, par exemple sur le café préféré de quelqu'un. Les auteurs estiment que cette approche est trop facile, car la question elle-même indique qu'il faut rechercher un fait. Dolphin Bench confie plutôt à l'assistant une tâche, comme commander un café, puis vérifie s'il a utilisé le bon fait. Chaque personne simulée dispose d'environ 500 000 jetons d'historique de conversation et de 200 tâches, et chaque tâche est vérifiée avec et sans l'historique pertinent. Les résultats doivent aussi indiquer le coût total et le temps, et pas seulement la précision. Dolphin Bench est géré par Mem0, une entreprise qui vend un système de mémoire, et son score maximal de 70,67 % provient d'une configuration de Mem0. L'auteur n'a pas reproduit Dolphin Bench et n'a testé le produit d'aucune entreprise.

L'auteur a plutôt conçu un test plus petit. Une chef de projet fictive, Dana Whitfield, dispose d'un an d'historique de conversation, soit environ 40 000 jetons. Un assistant a accompli 30 tâches nécessitant un ou deux faits de cet historique et a répondu à 30 questions directes portant sur les mêmes faits. Quatre conceptions de mémoire ont été testées sur deux modèles, lors de 1 260 exécutions, toutes consignées dans Weights & Biases. Les conceptions étaient les suivantes : transmettre l'historique complet, transmettre une fiche récapitulative, ne récupérer que les pages correspondantes, ou ne donner aucune mémoire à l'assistant.

Un résultat s'est démarqué. Avec l'historique complet, GPT-4o mini a répondu correctement à 97 % des questions, mais n'a accompli que 58 % des tâches. La recherche, une méthode moins coûteuse, a permis de réussir 89 % des tâches. L'approche avec l'historique complet a coûté de 20 à 31 fois plus cher que la consultation de notes et n'a donné aucun meilleur résultat sur les tâches.

L'article se termine par un court script permettant aux lecteurs d'exécuter les mêmes quatre conceptions de mémoire sur leur propre historique et leurs propres tâches.

Dolphin Bench नाम का एक नया बेंचमार्क यह जाँचता है कि AI सहायक की मेमोरी वास्तव में उसे कार्य पूरे करने में मदद करती है या नहीं, न कि केवल तथ्य याद रखने में। अधिकांश मेमोरी परीक्षणों में सहायक से अतीत के बारे में पूछा जाता है, जैसे कि किसी को कौन सी कॉफ़ी शॉप पसंद है। लेखकों का तर्क है कि यह तरीका बहुत आसान है, क्योंकि प्रश्न ही संकेत देता है कि किसी तथ्य को खोजना होगा। इसके बजाय Dolphin Bench सहायक को एक काम देता है, जैसे कॉफ़ी ऑर्डर करना, और जाँचता है कि उसने सही तथ्य का उपयोग किया या नहीं। हर काल्पनिक व्यक्ति के पास लगभग 500,000 टोकन का चैट इतिहास और 200 कार्य होते हैं, और हर कार्य को प्रासंगिक इतिहास के साथ और उसके बिना, दोनों तरह से जाँचा जाता है। परिणामों में केवल सटीकता ही नहीं, बल्कि कुल लागत और समय भी बताना होता है। Dolphin Bench को Mem0 चलाती है, जो एक मेमोरी सिस्टम बेचने वाली कंपनी है, और इसका सर्वोच्च स्कोर 70.67 प्रतिशत Mem0 की एक सेटअप से आया। लेखक ने Dolphin Bench को दोबारा नहीं चलाया और किसी भी कंपनी के उत्पाद की जाँच नहीं की।

इसके बजाय लेखक ने एक छोटा परीक्षण बनाया। Dana Whitfield नाम की एक काल्पनिक प्रोजेक्ट मैनेजर का लगभग 40,000 टोकन का एक साल का चैट इतिहास है। सहायक ने 30 कार्य पूरे किए, जिनमें उस इतिहास से एक या दो तथ्य चाहिए थे, और उन्हीं तथ्यों से जुड़े 30 सीधे प्रश्नों के उत्तर दिए। दो मॉडलों पर चार मेमोरी डिज़ाइन आज़माए गए, कुल 1,260 रन हुए, और हर रन Weights & Biases में दर्ज किया गया। डिज़ाइन ये थे: पूरा इतिहास देना, इतिहास का सार देने वाली चीट शीट देना, केवल मिलते-जुलते पन्ने निकालना, और सहायक को बिल्कुल भी मेमोरी न देना।

एक परिणाम सबसे अलग दिखा। पूरा इतिहास उपलब्ध होने पर GPT-4o mini ने 97 प्रतिशत प्रश्नों के सही उत्तर दिए, पर केवल 58 प्रतिशत कार्य पूरे किए। रिट्रीवल, जो सस्ती विधि है, ने 89 प्रतिशत कार्य सही किए। पूरा इतिहास देने की विधि की लागत नोट्स खोजने से 20 से 31 गुना अधिक थी और कार्यों में उसका प्रदर्शन बेहतर नहीं था।

लेख के अंत में एक छोटी स्क्रिप्ट है, जिससे पाठक अपने इतिहास और कार्यों पर वही चार मेमोरी डिज़ाइन चला सकते हैं।

Sebuah benchmark baru bernama Dolphin Bench menguji apakah memori asisten AI benar-benar membantunya menyelesaikan tugas, bukan sekadar mengingat fakta. Sebagian besar tes memori menanyai asisten tentang masa lalu, misalnya kedai kopi mana yang disukai seseorang. Para penulis berpendapat pendekatan ini terlalu mudah, karena pertanyaannya sendiri sudah menandakan bahwa sebuah fakta harus dicari. Dolphin Bench justru memberi asisten sebuah pekerjaan, seperti memesan kopi, lalu memeriksa apakah ia menggunakan fakta yang tepat. Setiap orang simulasi memiliki sekitar 500.000 token riwayat chat dan 200 tugas, dan setiap tugas diperiksa baik dengan maupun tanpa riwayat yang relevan. Hasilnya juga harus melaporkan total biaya dan waktu, tidak hanya akurasi. Dolphin Bench dijalankan oleh Mem0, perusahaan yang menjual sistem memori, dan skor tertinggi sebesar 70,67 persen berasal dari konfigurasi Mem0. Penulis tidak mereproduksi Dolphin Bench dan tidak menguji produk perusahaan mana pun.

Sebagai gantinya, penulis membuat tes yang lebih kecil. Seorang manajer proyek fiktif, Dana Whitfield, memiliki riwayat chat setahun sekitar 40.000 token. Sebuah asisten menyelesaikan 30 tugas yang membutuhkan satu atau dua fakta dari riwayat tersebut dan menjawab 30 pertanyaan langsung tentang fakta yang sama. Empat desain memori diuji pada dua model dalam 1.260 kali eksekusi, dan semuanya dicatat di Weights & Biases. Desainnya adalah: meneruskan seluruh riwayat, meneruskan contekan berupa ringkasan riwayat, hanya mengambil halaman yang cocok, dan tidak memberi asisten memori sama sekali.

Satu hasil menonjol. Dengan seluruh riwayat tersedia, GPT-4o mini menjawab 97 persen pertanyaan dengan benar, tetapi hanya menyelesaikan 58 persen tugas. Pengambilan data, metode yang lebih murah, berhasil menyelesaikan 89 persen tugas dengan benar. Pendekatan riwayat penuh membutuhkan biaya 20 hingga 31 kali lipat dibanding mencari catatan dan tidak lebih baik dalam menyelesaikan tugas.

Artikel diakhiri dengan skrip singkat yang memungkinkan pembaca menjalankan empat desain memori yang sama pada riwayat dan tugas mereka sendiri.

Dolphin Benchと呼ばれる新しいベンチマークは、AIアシスタントのメモリが単に事実を思い出すだけでなく、実際にタスクの完了に役立つかどうかを検証します。多くのメモリテストは、誰がどのコーヒーショップを好むかといった過去についてアシスタントに質問します。しかし作者は、質問そのものが事実を調べる必要があることを示唆してしまうため、この方法は簡単すぎると主張しています。Dolphin Benchでは代わりに、コーヒーを注文するといった仕事をアシスタントに与え、関連する事実を正しく使ったかどうかを確認します。模擬的な各人物は約50万トークンのチャット履歴と200件のタスクを持ち、各タスクは関連する履歴がある場合とない場合の両方で検証されます。結果では正答率だけでなく、総コストと時間も報告しなければなりません。Dolphin Benchはメモリシステムを販売する企業Mem0が運営しており、最高スコアの70.67パーセントはMem0の構成によるものでした。作者はDolphin Benchを再現せず、いかなる企業の製品もテストしていません。

代わりに作者はより小規模なテストを作成しました。架空のプロジェクトマネージャーDana Whitfieldの1年分のチャット履歴は約4万トークンです。アシスタントは、その履歴から一つか二つの事実を必要とする30件のタスクを完了し、同じ事実に関する30件の単純な質問に答えました。2つのモデルで4種類のメモリ設計を計1,260回実行し、すべての実行をWeights & Biasesに記録しました。設計は、履歴全体を渡す方法、履歴を要約したカンニングペーパーを渡す方法、該当するページだけを検索する方法、そしてアシスタントにメモリを一切与えない方法でした。

一つの結果が際立ちました。履歴全体が利用できる場合、GPT-4o miniは質問の97パーセントに正しく答えましたが、タスクの完了は58パーセントにとどまりました。より安価な方法である検索は、タスクの89パーセントを正しく完了しました。全履歴方式はメモ検索の20〜31倍のコストがかかり、タスクの成績はむしろ良くありませんでした。

記事の最後には短いスクリプトがあり、読者は同じ4種類のメモリ設計を自分の履歴とタスクで実行できます。

Um novo benchmark chamado Dolphin Bench testa se a memória de um assistente de IA realmente ajuda a concluir tarefas, em vez de apenas lembrar fatos. A maioria dos testes de memória pergunta ao assistente sobre o passado, como qual cafeteria alguém prefere. Os autores argumentam que essa abordagem é fácil demais, porque a própria pergunta sinaliza que um fato precisa ser consultado. O Dolphin Bench, em vez disso, dá ao assistente uma tarefa, como pedir um café, e verifica se ele usou o fato correto. Cada pessoa simulada tem cerca de 500.000 tokens de histórico de chat e 200 tarefas, e cada tarefa é verificada com e sem o histórico relevante. Os resultados também devem informar o custo total e o tempo, não apenas a precisão. O Dolphin Bench é executado pela Mem0, empresa que vende um sistema de memória, e sua maior pontuação, de 70,67 por cento, veio de uma configuração da Mem0. O autor não reproduziu o Dolphin Bench nem testou o produto de nenhuma empresa.

Em vez disso, o autor criou um teste menor. Uma gerente de projetos fictícia, Dana Whitfield, tem um ano de histórico de chat, com cerca de 40.000 tokens. Um assistente concluiu 30 tarefas que exigiam um ou dois fatos desse histórico e respondeu 30 perguntas diretas sobre os mesmos fatos. Quatro designs de memória foram testados em dois modelos, em 1.260 execuções, todas registradas no Weights & Biases. Os designs foram: passar o histórico inteiro, passar uma cola que resume o histórico, recuperar apenas as páginas correspondentes e não dar nenhuma memória ao assistente.

Um resultado se destacou. Com o histórico inteiro disponível, o GPT-4o mini respondeu corretamente 97 por cento das perguntas, mas concluiu apenas 58 por cento das tarefas. A recuperação, um método mais barato, acertou 89 por cento das tarefas. A abordagem com histórico completo custou de 20 a 31 vezes mais do que consultar anotações e não teve desempenho melhor nas tarefas.

O artigo termina com um script curto que permite aos leitores executar os mesmos quatro designs de memória com seu próprio histórico e suas próprias tarefas.

Новый бенчмарк Dolphin Bench проверяет, действительно ли память ИИ-ассистента помогает выполнять задачи, а не просто вспоминать факты. Большинство тестов памяти спрашивают ассистента о прошлом, например, какую кофейню кто-то любит. Авторы считают такой подход слишком простым, поскольку сам вопрос подсказывает, что факт нужно найти. Dolphin Bench вместо этого дает ассистенту задачу, например заказать кофе, и проверяет, использовал ли он нужный факт. У каждого смоделированного человека около 500 000 токенов истории чата и 200 задач, и каждая задача проверяется как с соответствующей историей, так и без нее. Результаты должны сообщать не только точность, но и общую стоимость и время. Dolphin Bench проводит компания Mem0, которая продает систему памяти, а ее максимальный результат в 70,67 процента получен в конфигурации Mem0. Автор не воспроизводил Dolphin Bench и не тестировал продукты ни одной компании.

Вместо этого автор создал более скромный тест. Вымышленный руководитель проекта Дана Уитфилд имеет годовую историю чатов объемом около 40 000 токенов. Ассистент выполнил 30 задач, требующих одного или двух фактов из этой истории, и ответил на 30 прямых вопросов о тех же фактах. Четыре схемы памяти были опробованы на двух моделях в 1 260 запусках, все они фиксировались в Weights & Biases. Схемы были такими: передача всей истории, передача шпаргалки с ее кратким изложением, извлечение только подходящих страниц и отсутствие какой-либо памяти у ассистента.

Один результат выделился. При доступной полной истории GPT-4o mini правильно ответил на 97 процентов вопросов, но выполнил лишь 58 процентов задач. Извлечение, более дешевый метод, позволило правильно выполнить 89 процентов задач. Подход с полной историей стоил в 20–31 раз дороже поиска по заметкам и не дал лучших результатов в задачах.

Статья заканчивается коротким скриптом, с помощью которого читатели могут запустить те же четыре схемы памяти на собственной истории и собственных задачах.

一个名为Dolphin Bench的新基准测试旨在检验AI助手的记忆是否真正帮助它完成任务，而不仅仅是回忆事实。大多数记忆测试会询问助手过去的事情，例如某人喜欢哪家咖啡店。作者认为这种方法过于简单，因为问题本身就暗示必须查找某个事实。相比之下，Dolphin Bench会给助手一项工作，例如点咖啡，然后检查它是否使用了正确的事实。每个模拟用户拥有约50万个token的聊天历史和200项任务，每项任务都会在有和没有相关历史的情况下分别进行检查。结果不仅要报告准确率，还必须报告总成本和时间。Dolphin Bench由出售记忆系统的公司Mem0运营，其70.67%的最高分来自Mem0的设置。作者并未复现Dolphin Bench，也没有测试任何公司的产品。

作者转而构建了一个规模较小的测试。虚构的项目经理Dana Whitfield拥有约4万个token的一年聊天记录。助手需要完成30项需要用到该历史中一到两个事实的任务，并回答30个关于同一事实的直接问题。研究在两种模型上尝试了四种记忆设计，共进行1,260次运行，所有运行均记录在Weights & Biases中。这四种设计分别是：传递完整历史、传递概括该历史的小抄、仅检索匹配的页面，以及完全不给助手任何记忆。

有一个结果尤为突出。在可以获得完整历史的情况下，GPT-4o mini正确回答了97%的问题，但只完成了58%的任务。检索这种成本更低的方法，任务完成率达到89%。完整历史的方法成本是查找笔记的20至31倍，而在任务表现上并没有更好。

文章最后附有一个简短的脚本，让读者可以在自己的历史记录和任务上运行这四种记忆设计。