Um novo benchmark chamado Dolphin Bench testa se a memória de um assistente de IA realmente ajuda a concluir tarefas, em vez de apenas lembrar fatos. A maioria dos testes de memória pergunta ao assistente sobre o passado, como qual cafeteria alguém prefere. Os autores argumentam que essa abordagem é fácil demais, porque a própria pergunta sinaliza que um fato precisa ser consultado. O Dolphin Bench, em vez disso, dá ao assistente uma tarefa, como pedir um café, e verifica se ele usou o fato correto. Cada pessoa simulada tem cerca de 500.000 tokens de histórico de chat e 200 tarefas, e cada tarefa é verificada com e sem o histórico relevante. Os resultados também devem informar o custo total e o tempo, não apenas a precisão. O Dolphin Bench é executado pela Mem0, empresa que vende um sistema de memória, e sua maior pontuação, de 70,67 por cento, veio de uma configuração da Mem0. O autor não reproduziu o Dolphin Bench nem testou o produto de nenhuma empresa.
Em vez disso, o autor criou um teste menor. Uma gerente de projetos fictícia, Dana Whitfield, tem um ano de histórico de chat, com cerca de 40.000 tokens. Um assistente concluiu 30 tarefas que exigiam um ou dois fatos desse histórico e respondeu 30 perguntas diretas sobre os mesmos fatos. Quatro designs de memória foram testados em dois modelos, em 1.260 execuções, todas registradas no Weights & Biases. Os designs foram: passar o histórico inteiro, passar uma cola que resume o histórico, recuperar apenas as páginas correspondentes e não dar nenhuma memória ao assistente.
Um resultado se destacou. Com o histórico inteiro disponível, o GPT-4o mini respondeu corretamente 97 por cento das perguntas, mas concluiu apenas 58 por cento das tarefas. A recuperação, um método mais barato, acertou 89 por cento das tarefas. A abordagem com histórico completo custou de 20 a 31 vezes mais do que consultar anotações e não teve desempenho melhor nas tarefas.
O artigo termina com um script curto que permite aos leitores executar os mesmos quatro designs de memória com seu próprio histórico e suas próprias tarefas.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing