LLM驱动的应用程序与传统软件不同，它们将大语言模型的响应集成到工作流程中，例如聊天机器人回答查询或文档处理器提取数据。虽然请求流程看似简单——用户请求、向LLM发送提示、处理响应——但存在多个故障点。网络问题、提供商拒绝、无效的JSON输出、幻觉和延迟都可能 disrupt operations。

错误处理涉及在故障发生时决定适当的操作：重试请求、显示解释性消息、使用备用模型或记录日志以便调查。 resiliency 意味着应用程序在部分故障时仍能正常运行，称为 graceful degradation。例如，travel assistant 可能会在 primary LLM 失败时切换到较小的 backup model，然后回退到 pre-generated destination guides。

production systems 必须 classify failure types 以便正确响应。key strategies 包括 proper retry logic with exponential backoff、timeout and deadline management、circuit breakers to prevent cascade failures、rate limiting and concurrency controls、idempotency for safe tool calls、streaming response handling。这些技术确保 controlled failure modes 而非 application crashes。