Ein neuer Benchmark namens Dolphin Bench prüft, ob das Gedächtnis eines KI-Assistenten tatsächlich beim Erledigen von Aufgaben hilft, statt nur Fakten abzurufen. Die meisten Gedächtnistests fragen den Assistenten nach der Vergangenheit, etwa welches Café jemand bevorzugt. Die Autoren halten diesen Ansatz für zu einfach, weil die Frage selbst signalisiert, dass ein Fakt nachgeschlagen werden muss. Dolphin Bench gibt dem Assistenten stattdessen eine Aufgabe, zum Beispiel einen Kaffee zu bestellen, und prüft, ob er den richtigen Fakt verwendet hat. Jede simulierte Person hat rund 500.000 Token Chatverlauf und 200 Aufgaben, und jede Aufgabe wird sowohl mit als auch ohne den relevanten Verlauf überprüft. Die Ergebnisse müssen außerdem Gesamtkosten und Zeitaufwand ausweisen, nicht nur die Genauigkeit. Dolphin Bench wird von Mem0 betrieben, einem Unternehmen, das ein Gedächtnissystem verkauft, und die Bestleistung von 70,67 Prozent stammt von einer Mem0-Konfiguration. Der Autor hat Dolphin Bench nicht nachgebaut und keine Produkte eines Unternehmens getestet.
Stattdessen erstellte der Autor einen kleineren Test. Eine erfundene Projektmanagerin, Dana Whitfield, hat ein Jahr Chatverlauf mit etwa 40.000 Token. Ein Assistent erledigte 30 Aufgaben, die ein oder zwei Fakten aus diesem Verlauf erforderten, und beantwortete 30 einfache Fragen zu denselben Fakten. Vier Gedächtnisdesigns wurden mit zwei Modellen in 1.260 Durchläufen getestet, wobei jeder Durchlauf in Weights & Biases protokolliert wurde. Die Designs waren: den gesamten Verlauf übergeben, einen Spickzettel mit einer Zusammenfassung übergeben, nur die passenden Seiten abrufen und dem Assistenten gar kein Gedächtnis geben.
Ein Ergebnis stach hervor. Mit dem vollständigen Verlauf beantwortete GPT-4o mini 97 Prozent der Fragen richtig, erledigte aber nur 58 Prozent der Aufgaben. Das Abrufen, eine günstigere Methode, löste 89 Prozent der Aufgaben richtig. Der Ansatz mit dem vollständigen Verlauf kostete das 20- bis 31-Fache des Nachschlagens in Notizen und schnitt bei den Aufgaben nicht besser ab.
Der Artikel endet mit einem kurzen Skript, mit dem Leser dieselben vier Gedächtnisdesigns mit ihrem eigenen Verlauf und ihren eigenen Aufgaben ausprobieren können.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing