Una nueva prueba de referencia llamada Dolphin Bench evalúa si la memoria de un asistente de IA realmente le ayuda a completar tareas, en lugar de limitarse a recordar datos. La mayoría de las pruebas de memoria preguntan al asistente sobre el pasado, por ejemplo, qué cafetería le gusta a alguien. Los autores sostienen que este enfoque es demasiado fácil, porque la propia pregunta indica que hay que buscar un dato. Dolphin Bench, en cambio, le asigna al asistente un trabajo, como pedir un café, y comprueba si usó el dato correcto. Cada persona simulada tiene unos 500.000 tokens de historial de chat y 200 tareas, y cada tarea se verifica con y sin el historial relevante. Los resultados también deben informar el costo total y el tiempo, no solo la precisión. Dolphin Bench lo ejecuta Mem0, una empresa que vende un sistema de memoria, y su puntuación máxima, de 70,67 por ciento, procede de una configuración de Mem0. El autor no reprodujo Dolphin Bench ni probó el producto de ninguna empresa.
En su lugar, el autor creó una prueba más pequeña. Una gestora de proyectos inventada, Dana Whitfield, tiene un año de historial de chat de unos 40.000 tokens. Un asistente completó 30 tareas que requerían uno o dos datos de ese historial y respondió 30 preguntas directas sobre los mismos datos. Se probaron cuatro diseños de memoria con dos modelos, en 1.260 ejecuciones, registradas todas en Weights & Biases. Los diseños fueron: pasar el historial completo, pasar una hoja de resumen que lo condensa, recuperar solo las páginas coincidentes y no dar al asistente ninguna memoria.
Uno de los resultados destacó. Con el historial completo disponible, GPT-4o mini respondió correctamente el 97 por ciento de las preguntas, pero completó solo el 58 por ciento de las tareas. La recuperación, un método más barato, acertó el 89 por ciento de las tareas. El enfoque de historial completo costó de 20 a 31 veces más que consultar notas y no obtuvo mejores resultados en las tareas.
El artículo concluye con un breve script que permite a los lectores ejecutar los mismos cuatro diseños de memoria con su propio historial y sus propias tareas.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing