Ahora cualquiera puede construir una demo de LLM con una sola llamada a la API. Hacer que esa misma función sobreviva a usuarios reales, datos reales y una factura real es un trabajo diferente. Ese trabajo se reduce a cinco habilidades que aparecen en casi todos los sistemas de producción en los que he trabajado o revisado: recuperación, enrutamiento, guardas, evaluaciones y bucles de agentes.

Cada una responde a una pregunta que un modelo fronterizo no puede manejar por sí solo. ¿De dónde viene los datos de mi empresa? ¿Por qué es tan alta la factura? ¿Qué sucede cuando alguien envía un prompt hostil? ¿Mi último cambio mejoró o empeoró las cosas? ¿Cómo hago para que un modelo realice trabajos multietapa sin caerse? Habilidad #1: RAG, fundamentando un modelo con tus propios datos Un modelo base no conoce los documentos de tu empresa, y ajustarlo cada vez que cambian es lento y costoso. La generación aumentada por recuperación (RAG) obtiene los documentos relevantes en el momento de la consulta y los pasa al modelo como contexto. Sigue siendo el patrón LLM más común en producción y suele ser lo primero que una cursada enseña.

El trabajo interesante está en la recuperación. Depende de cómo dividas los documentos (fragmentación), si combinas búsqueda de palabras clave y semántica (recuperación híbrida) y si reordenas los resultados antes de que lleguen al modelo (reordenamiento). Habilidad #2: Enrutamiento de modelos: pagar por el modelo que necesita la tarea Enviar cada solicitud a un modelo fronterizo es la forma más rápida de llegar a una factura que nadie puede explicar.

El enrutamiento envía solicitudes fáciles y de alto volumen a un modelo pequeño o local y reserva el modelo costoso para las difíciles. Se informa que agregar una caché para prompts repetidos reduce entre un 40% y un 70% las facturas de inferencia en producción, por eso el enrutamiento pasó de ser un truco avanzado a una expectativa básica. La habilidad consiste en puntuar una solicitud y elegir un nivel.