Quando um chatbot LLM responde a perguntas sobre políticas, ele deve encontrar informações específicas que correspondam à intenção do usuário em milhares de documentos. Esse problema de recuperação exige que o modelo compreenda o significado além da correspondência de palavras-chave, lidando com variações de políticas e regras desatualizadas. A solução envolve a geração aumentada por recuperação (RAG), onde um modelo de embedding converte perguntas em representações numéricas.

Um sistema de busca então encontra passagens promissoras de um banco de dados vetorial, fornecendo texto original ao LLM para respostas contextualmente precisas. Crucialmente, os documentos devem ser divididos em unidades menores chamadas fragmentos para equilibrar precisão e contexto. Um manual de viagem cobrindo voos, acomodação e seguro, quando tratado como um único item, produz representações amplas que obscurecem regras específicas.

Fragmentos menores focados em tópicos particulares—como reembolso de hotel versus requisitos de aprovação—permitem que o sistema identifique passagens exatas em vez de documentos inteiros. Essa estratégia de fragmentação cria um equilíbrio entre recuperar contexto suficiente e manter a especificidade. O artigo explora como os LLMs podem localizar efetivamente informações críticas dentro de grandes coleções de documentos, garantindo que as respostas sejam precisas e citem fontes válidas.

Ele abrange modelos de embedding, sistemas de busca e a implementação prática de padrões RAG para aplicações LLM confiáveis em diversas bases de conhecimento.