Dolphin Benchと呼ばれる新しいベンチマークは、AIアシスタントのメモリが単に事実を思い出すだけでなく、実際にタスクの完了に役立つかどうかを検証します。多くのメモリテストは、誰がどのコーヒーショップを好むかといった過去についてアシスタントに質問します。しかし作者は、質問そのものが事実を調べる必要があることを示唆してしまうため、この方法は簡単すぎると主張しています。Dolphin Benchでは代わりに、コーヒーを注文するといった仕事をアシスタントに与え、関連する事実を正しく使ったかどうかを確認します。模擬的な各人物は約50万トークンのチャット履歴と200件のタスクを持ち、各タスクは関連する履歴がある場合とない場合の両方で検証されます。結果では正答率だけでなく、総コストと時間も報告しなければなりません。Dolphin Benchはメモリシステムを販売する企業Mem0が運営しており、最高スコアの70.67パーセントはMem0の構成によるものでした。作者はDolphin Benchを再現せず、いかなる企業の製品もテストしていません。
代わりに作者はより小規模なテストを作成しました。架空のプロジェクトマネージャーDana Whitfieldの1年分のチャット履歴は約4万トークンです。アシスタントは、その履歴から一つか二つの事実を必要とする30件のタスクを完了し、同じ事実に関する30件の単純な質問に答えました。2つのモデルで4種類のメモリ設計を計1,260回実行し、すべての実行をWeights & Biasesに記録しました。設計は、履歴全体を渡す方法、履歴を要約したカンニングペーパーを渡す方法、該当するページだけを検索する方法、そしてアシスタントにメモリを一切与えない方法でした。
一つの結果が際立ちました。履歴全体が利用できる場合、GPT-4o miniは質問の97パーセントに正しく答えましたが、タスクの完了は58パーセントにとどまりました。より安価な方法である検索は、タスクの89パーセントを正しく完了しました。全履歴方式はメモ検索の20〜31倍のコストがかかり、タスクの成績はむしろ良くありませんでした。
記事の最後には短いスクリプトがあり、読者は同じ4種類のメモリ設計を自分の履歴とタスクで実行できます。
出典: Towards Data Science · 要約：HeadlinesBriefing