Pada Januari 2025, Aditi Singh dan rekan penulisnya menerbitkan survei tentang agentic retrieval-augmented generation, atau agentic RAG. Mereka menggambarkannya sebagai sistem pencarian dengan agen AI di dalamnya. Agen tersebut dapat merencanakan langkah berikutnya, memeriksa hasilnya sendiri, dan menggunakan alat lain, seperti kalkulator atau kotak pencarian, saat mencari informasi. Survei yang sama mencantumkan evaluasi dan efisiensi sebagai tantangan terbuka, dan bagian inilah yang ingin diukur oleh uji ini.
Retrieval-augmented generation, atau RAG, berarti model bahasa menjawab pertanyaan dengan menggunakan teks yang lebih dulu diambil dari kumpulan dokumen. Pencarian biasa mencari pertanyaan sekali saja, sesuai dengan penulisannya. Agentic RAG menambahkan agen yang membaca hasil awal dan memutuskan apakah akan berhenti atau menulis pencarian baru. Lebih banyak pencarian seharusnya menemukan bukti yang lebih baik, tetapi setiap pencarian tambahan membutuhkan pemanggilan model bahasa lagi, menambah jeda bagi pengguna, dan memberi agen kesempatan lain untuk menulis kueri yang lebih buruk daripada kueri awalnya.
Penulis menjalankan empat metode pengambilan pada 298 pertanyaan dan 2.000 makalah arXiv terbaru yang sama, dengan asisten pemrograman AI Claude Code yang membangun dan menjalankan uji ini. Metodenya adalah pencarian biasa, reranker yang mengurutkan ulang 50 hasil pertama, penulis ulang pertanyaan yang menghasilkan tiga kueri alternatif, dan agen yang mencari hingga tiga kali. Setiap metode dinilai dari seberapa sering ia menempatkan makalah yang benar dalam lima hasil teratasnya.
Agen menempatkan makalah yang benar di lima teratas untuk 96,87 persen pertanyaan, dibanding 95,64 persen untuk pencarian biasa. Selisih +1,2 poin persentase memiliki rentang yang masuk akal antara -0,8 dan +3,5, yang mencakup nol, sehingga uji ini tidak dapat membedakan keduanya. Agen menemukan makalah yang terlewat oleh pencarian biasa, tetapi juga kehilangan beberapa makalah yang sebelumnya ditemukan oleh pencarian biasa.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing