Новый бенчмарк Dolphin Bench проверяет, действительно ли память ИИ-ассистента помогает выполнять задачи, а не просто вспоминать факты. Большинство тестов памяти спрашивают ассистента о прошлом, например, какую кофейню кто-то любит. Авторы считают такой подход слишком простым, поскольку сам вопрос подсказывает, что факт нужно найти. Dolphin Bench вместо этого дает ассистенту задачу, например заказать кофе, и проверяет, использовал ли он нужный факт. У каждого смоделированного человека около 500 000 токенов истории чата и 200 задач, и каждая задача проверяется как с соответствующей историей, так и без нее. Результаты должны сообщать не только точность, но и общую стоимость и время. Dolphin Bench проводит компания Mem0, которая продает систему памяти, а ее максимальный результат в 70,67 процента получен в конфигурации Mem0. Автор не воспроизводил Dolphin Bench и не тестировал продукты ни одной компании.
Вместо этого автор создал более скромный тест. Вымышленный руководитель проекта Дана Уитфилд имеет годовую историю чатов объемом около 40 000 токенов. Ассистент выполнил 30 задач, требующих одного или двух фактов из этой истории, и ответил на 30 прямых вопросов о тех же фактах. Четыре схемы памяти были опробованы на двух моделях в 1 260 запусках, все они фиксировались в Weights & Biases. Схемы были такими: передача всей истории, передача шпаргалки с ее кратким изложением, извлечение только подходящих страниц и отсутствие какой-либо памяти у ассистента.
Один результат выделился. При доступной полной истории GPT-4o mini правильно ответил на 97 процентов вопросов, но выполнил лишь 58 процентов задач. Извлечение, более дешевый метод, позволило правильно выполнить 89 процентов задач. Подход с полной историей стоил в 20–31 раз дороже поиска по заметкам и не дал лучших результатов в задачах.
Статья заканчивается коротким скриптом, с помощью которого читатели могут запустить те же четыре схемы памяти на собственной истории и собственных задачах.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing