LLMを活用したアプリケーションは、チャットボットがクエリに回答したり、ドキュメントプロセッサがデータを抽出したりするように、大規模言語モデルの応答をワークフローに統合することで、従来のソフトウェアと異なります。リクエストの流れはシンプルに見えます — ユーザーリクエスト、LLMへのプロンプト、応答の処理 — しかし、複数の障害点が存在します。ネットワークの問題、プロバイダの拒否、無効なJSON出力、ハルシネーション、遅延などは、すべて操作を中断させる可能性があります。

エラー処理には、障害が発生した場合に適切なアクションを決定することが含まれます：リクエストの再試行、説明メッセージの表示、バックアップモデルの使用、または調査のためのログ記録。resiliency は、部分的な障害にもかかわらずアプリケーションが機能し続けることを意味し、これを graceful degradation と呼びます。例えば、travel assistant は、primary LLM が失敗した場合、smaller backup model に切り替え、その後、pre-generated destination guides にフォールバックできます。

production systems は、正しく対応するために failure types を classify する必要があります。key strategies には、exponential backoff を伴う proper retry logic、timeout and deadline management、circuit breakers to prevent cascade failures、rate limiting and concurrency controls、idempotency for safe tool calls、streaming response handling が含まれます。これらの技術により、application crashes ではなく、controlled failure modes が保証されます。