تختلف التطبيقات المدعومة بواسطة LLM عن البرمجيات التقليدية من خلال دمج استجابات نموذج اللغة الكبير في سير عملهم، مثل روبوتات الدردشة التي تجيب عن الاستفسارات أو معالجات المستندات التي تستخرج البيانات. على الرغم من أن تدفق الطلب يبدو بسيطًا — طلب المستخدم، إرشاد LLM، معالجة الاستجابة — إلا أن هناك عدة نقاط فشل. يمكن أن تشمل المشاكل الشبكية، رفض المزود، مخرجات JSON غير صالحة، hallucinations، والزمن الاستجابة أن تعيق العمليات.

يتضمن التعامل مع الأخطاء قرارات الإجراءات المناسبة عند حدوث الفشول: إعادة المحاولة، عرض رسائل توضيحية، استخدام نماذج بديلة، أو تسجيل للتحقيق. تعني المرونة أن التطبيق يستمر في العمل على الرغم من الفشول الجزئية، المعروفة باسم التدهور اللطيف. على سبيل المثال، قد يتحوّل مساعد سفر إلى نموذج بديل أصغر إذا فشل النموذج الأساسي LLM، ثم يعود إلى دلائل الوجهات المُنشأة مسبقًا.

يجب على الأنظمة الإنتاجية تصنيف أنواع الفشول للرد بشكل صحيح. تشمل الاستراتيجيات الرئيسية منطق إعادة المحاولة المناسب مع التراجع الأسي، إدارة المهلات والمواعيد النهائية، قواطع الدوائر لمنع الفشول المتراكمة، وضع الحدود والتحكم في التوازي، الطبيعية الجانبية للاستدعاءات الآمنة، ومعالجة الاستجابات المباشرة. هذه التقنيات تضمن أوضاع فشل مُتحكم فيها بدلاً من انهيارات التطبيق.