Lorsqu'un chatbot LLM répond à des questions sur les politiques, il doit trouver des informations spécifiques correspondant à l'intention de l'utilisateur parmi des milliers de documents. Ce problème de récupération exige que le modèle comprenne le sens au-delà de la correspondance de mots-clés, en gérant les variations de politique et les règles obsolètes. La solution implique la génération augmentée par récupération (RAG), où un modèle d'embedding convertit les questions en représentations numériques.

Un système de recherche trouve ensuite des passages prometteurs dans une base de données vectorielle, fournissant le texte original au LLM pour des réponses contextuellement précises. De manière cruciale, les documents doivent être divisés en unités plus petites appelées morceaux pour équilibrer précision et contexte. Un manuel de voyage couvrant les vols, l'hébergement et l'assurance, lorsqu'il est traité comme un seul élément, produit des représentations larges qui obscurcissent les règles spécifiques.

Des morceaux plus petits se concentrant sur des sujets particuliers—comme le remboursement de l'hôtel par opposition aux exigences d'approbation—permettent au système d'identifier des passages exacts plutôt que des documents entiers. Cette stratégie de découpage crée un équilibre entre la récupération d'un contexte suffisant et le maintien de la spécificité. L'article explore comment les LLM peuvent localiser efficacement des informations critiques au sein de grandes collections de documents, garantissant que les réponses sont à la fois précises et citent des sources valides.

Il couvre les modèles d'embedding, les systèmes de recherche et la mise en œuvre pratique des modèles RAG pour des applications LLM fiables dans diverses bases de connaissances.