Cuando un chatbot LLM responde preguntas sobre políticas, debe encontrar información específica que coincida con la intención del usuario a través de miles de documentos. Este problema de recuperación requiere que el modelo comprenda el significado más allá de la coincidencia de palabras clave, manejando variaciones de políticas y reglas desactualizadas. La solución implica la generación aumentada por recuperación (RAG), donde un modelo de embedding convierte las preguntas en representaciones numéricas.

Un sistema de búsqueda luego encuentra pasajes prometedores de una base de datos vectorial, proporcionando texto original al LLM para respuestas contextualmente precisas. Crucialmente, los documentos deben dividirse en unidades más pequeñas llamadas fragmentos para equilibrar precisión y contexto. Un manual de viaje que cubre vuelos, alojamiento y seguro, cuando se trata como un solo elemento, produce representaciones amplias que oscurecen reglas específicas.

Fragmentos más pequeños que se centran en temas particulares—como el reembolso de hotel frente a los requisitos de aprobación—permiten al sistema identificar pasajes exactos en lugar de documentos completos. Esta estrategia de fragmentación crea un equilibrio entre recuperar suficiente contexto y mantener la especificidad. El artículo explora cómo los LLM pueden localizar efectivamente información crítica dentro de grandes colecciones de documentos, asegurando que las respuestas sean precisas y citen fuentes válidas.

Cubre modelos de embedding, sistemas de búsqueda y la implementación práctica de patrones RAG para aplicaciones LLM confiables en diversas bases de conocimiento.