Em janeiro de 2025, Aditi Singh e coautores publicaram um levantamento sobre geração aumentada por recuperação agêntica, ou RAG agêntico. Eles a descrevem como um sistema de busca com um agente de IA dentro dele. O agente pode planejar o próximo passo, verificar os próprios resultados e usar outras ferramentas, como uma calculadora ou uma caixa de busca, enquanto procura informações. O mesmo levantamento lista avaliação e eficiência entre os desafios em aberto, e essa é a parte que este teste se propôs a medir.
A geração aumentada por recuperação, ou RAG, significa que um modelo de linguagem responde a uma pergunta usando textos que primeiro recuperou de uma coleção de documentos. A busca simples consulta a pergunta uma única vez, como ela foi escrita. O RAG agêntico acrescenta um agente que lê os primeiros resultados e decide se para ou escreve uma nova busca. Mais buscas deveriam encontrar evidências melhores, mas cada busca extra exige mais uma chamada ao modelo de linguagem, acrescenta atraso para o usuário e dá ao agente mais uma chance de escrever uma consulta pior que a original.
O autor executou quatro métodos de recuperação sobre as mesmas 298 perguntas e 2.000 artigos recentes do arXiv, com o assistente de programação de IA Claude Code construindo e executando o teste. Os métodos foram a busca simples, um reranqueador que reordena os 50 primeiros resultados, um reescritor de perguntas que produz três consultas alternativas e um agente que busca até três vezes. Cada um foi avaliado pela frequência com que colocava o artigo certo entre os cinco primeiros resultados.
O agente colocou o artigo certo entre os cinco primeiros em 96,87% das perguntas, contra 95,64% da busca simples. A diferença de +1,2 ponto percentual tinha um intervalo plausível de -0,8 a +3,5, que inclui o zero, então o teste não conseguiu distinguir os dois. O agente encontrou artigos que a busca simples deixou passar, mas também perdeu alguns que a busca simples havia encontrado.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing