Sebuah benchmark baru bernama Dolphin Bench menguji apakah memori asisten AI benar-benar membantunya menyelesaikan tugas, bukan sekadar mengingat fakta. Sebagian besar tes memori menanyai asisten tentang masa lalu, misalnya kedai kopi mana yang disukai seseorang. Para penulis berpendapat pendekatan ini terlalu mudah, karena pertanyaannya sendiri sudah menandakan bahwa sebuah fakta harus dicari. Dolphin Bench justru memberi asisten sebuah pekerjaan, seperti memesan kopi, lalu memeriksa apakah ia menggunakan fakta yang tepat. Setiap orang simulasi memiliki sekitar 500.000 token riwayat chat dan 200 tugas, dan setiap tugas diperiksa baik dengan maupun tanpa riwayat yang relevan. Hasilnya juga harus melaporkan total biaya dan waktu, tidak hanya akurasi. Dolphin Bench dijalankan oleh Mem0, perusahaan yang menjual sistem memori, dan skor tertinggi sebesar 70,67 persen berasal dari konfigurasi Mem0. Penulis tidak mereproduksi Dolphin Bench dan tidak menguji produk perusahaan mana pun.
Sebagai gantinya, penulis membuat tes yang lebih kecil. Seorang manajer proyek fiktif, Dana Whitfield, memiliki riwayat chat setahun sekitar 40.000 token. Sebuah asisten menyelesaikan 30 tugas yang membutuhkan satu atau dua fakta dari riwayat tersebut dan menjawab 30 pertanyaan langsung tentang fakta yang sama. Empat desain memori diuji pada dua model dalam 1.260 kali eksekusi, dan semuanya dicatat di Weights & Biases. Desainnya adalah: meneruskan seluruh riwayat, meneruskan contekan berupa ringkasan riwayat, hanya mengambil halaman yang cocok, dan tidak memberi asisten memori sama sekali.
Satu hasil menonjol. Dengan seluruh riwayat tersedia, GPT-4o mini menjawab 97 persen pertanyaan dengan benar, tetapi hanya menyelesaikan 58 persen tugas. Pengambilan data, metode yang lebih murah, berhasil menyelesaikan 89 persen tugas dengan benar. Pendekatan riwayat penuh membutuhkan biaya 20 hingga 31 kali lipat dibanding mencari catatan dan tidak lebih baik dalam menyelesaikan tugas.
Artikel diakhiri dengan skrip singkat yang memungkinkan pembaca menjalankan empat desain memori yang sama pada riwayat dan tugas mereka sendiri.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing