Les applications alimentées par LLM diffèrent du logiciel traditionnel en intégrant les réponses du modèle de langage large dans leur flux de travail, comme les chatbots répondant aux questions ou les processeurs de documents extrayant des données. Bien que le flux de requête semble simple — requête utilisateur, invite au LLM, traitement de la réponse — plusieurs points de défaillance existent. Les problèmes réseau, les rejets du fournisseur, les sorties JSON invalides, les hallucinations et la latence peuvent tous perturber les opérations.

La gestion des erreurs implique de décider des actions appropriées lorsque des défaillances se produisent : réessayer les demandes, afficher des messages explicatifs, utiliser des modèles de secours ou consigner pour investigation. La résilience signifie que l'application continue de fonctionner malgré des défaillances partielles, connue sous le nom de dégradation élégante. Par exemple, un assistant de voyage pourrait basculer vers un modèle de secours plus petit si le LLM principal échoue, puis revenir à des guides de destinations prégénérés.

Les systèmes de production doivent classer les types de défaillances pour répondre correctement. Les stratégies clés comprennent une logique de nouvelle tentative appropriée avec un délai exponentiel, la gestion des délais et des échéances, les disjoncteurs pour éviter les défaillances en cascade, la limitation de débit et les contrôles de concurrence, l'idempotence pour des appels d'outils sûrs et le traitement des réponses en streaming. Ces techniques garantissent des modes de défaillance contrôlés plutôt que des plantages d'application.