As aplicações alimentadas por LLM diferem do software tradicional ao integrar as respostas do modelo de linguagem grande em seu fluxo de trabalho, como chatbots respondendo a consultas ou processadores de documentos extraíndo dados. Embora o fluxo de solicitação pareça simples — solicitação do usuário, prompt ao LLM, processamento de resposta — existem vários pontos de falha. Problemas de rede, rejeições do provedor, saídas JSON inválidas, alucinações e latência podem todos interromper as operações.

O tratamento de erros envolve decidir ações apropriadas quando falhas ocorrem: tentar novamente as solicitações, mostrar mensagens explicativas, usar modelos de backup ou registrar para investigação. A resiliência significa que o aplicativo continua funcionando apesar de falhas parciais, conhecido como degradação elegante. Por exemplo, um assistente de viagem pode mudar para um modelo de backup menor se o LLM principal falhar, então reverter para guias de destinos pré-gerados.

Os sistemas de produção devem classificar os tipos de falhas para responder corretamente. As estratégias-chave incluem lógica de tentativa apropriada com backoff exponencial, gerenciamento de limites e prazos, interrutores de circuito para prevenir falhas em cascata, limitação de taxa e controles de concorrência, idempotência para chamadas seguras de ferramentas e tratamento de respostas em streaming. Essas técnicas garantem modos de falha controlados em vez de travamentos de aplicativos.