Un nouveau benchmark appelé Dolphin Bench vérifie si la mémoire d'un assistant IA l'aide réellement à accomplir des tâches, plutôt que de simplement se rappeler des faits. La plupart des tests de mémoire interrogent l'assistant sur le passé, par exemple sur le café préféré de quelqu'un. Les auteurs estiment que cette approche est trop facile, car la question elle-même indique qu'il faut rechercher un fait. Dolphin Bench confie plutôt à l'assistant une tâche, comme commander un café, puis vérifie s'il a utilisé le bon fait. Chaque personne simulée dispose d'environ 500 000 jetons d'historique de conversation et de 200 tâches, et chaque tâche est vérifiée avec et sans l'historique pertinent. Les résultats doivent aussi indiquer le coût total et le temps, et pas seulement la précision. Dolphin Bench est géré par Mem0, une entreprise qui vend un système de mémoire, et son score maximal de 70,67 % provient d'une configuration de Mem0. L'auteur n'a pas reproduit Dolphin Bench et n'a testé le produit d'aucune entreprise.
L'auteur a plutôt conçu un test plus petit. Une chef de projet fictive, Dana Whitfield, dispose d'un an d'historique de conversation, soit environ 40 000 jetons. Un assistant a accompli 30 tâches nécessitant un ou deux faits de cet historique et a répondu à 30 questions directes portant sur les mêmes faits. Quatre conceptions de mémoire ont été testées sur deux modèles, lors de 1 260 exécutions, toutes consignées dans Weights & Biases. Les conceptions étaient les suivantes : transmettre l'historique complet, transmettre une fiche récapitulative, ne récupérer que les pages correspondantes, ou ne donner aucune mémoire à l'assistant.
Un résultat s'est démarqué. Avec l'historique complet, GPT-4o mini a répondu correctement à 97 % des questions, mais n'a accompli que 58 % des tâches. La recherche, une méthode moins coûteuse, a permis de réussir 89 % des tâches. L'approche avec l'historique complet a coûté de 20 à 31 fois plus cher que la consultation de notes et n'a donné aucun meilleur résultat sur les tâches.
L'article se termine par un court script permettant aux lecteurs d'exécuter les mêmes quatre conceptions de mémoire sur leur propre historique et leurs propres tâches.
Source: Towards Data Science · Résumé par HeadlinesBriefing