Las aplicaciones impulsadas por LLM difieren de las software tradicional al integrar las respuestas del modelo de lenguaje grande en su flujo de trabajo, como chatbots que responden consultas o procesadores de documentos que extraen datos. Aunque el flujo de solicitud parece simple — solicitud del usuario, prompt al LLM, procesamiento de respuesta — existen múltiples puntos de fallo. Los problemas de red, las rechazos del proveedor, las salidas JSON inválidas, las alucinaciones y la latencia pueden todos interrumpir las operaciones.

El manejo de errores implica decidir acciones apropiadas cuando ocurren fallos: reintentar solicitudes, mostrar mensajes explicativos, usar modelos de respaldo o registrar para investigación. La resiliencia significa que la aplicación continúa funcionando a pesar de fallos parciales, conocido como degradación elegante. Por ejemplo, un asistente de viaje podría cambiar a un modelo de respaldo más pequeño si el LLM principal falla, luego retroceder a guías de destinos pregenerados.

Los sistemas de producción deben clasificar los tipos de fallos para responder correctamente. Las estrategias clave incluyen lógica de reintento adecuada con retroceso exponencial, gestión de tiempos de espera y plazos, interruptores de circuito para prevenir fallos en cascada, limitación de velocidad y controles de concurrencia, idempotencia para llamadas seguras a herramientas y manejo de respuestas en streaming. Estas técnicas garantizan modos de fallo controlados en lugar de caídas de la aplicación.