Приложения на базе LLM отличаются традиционным программным обеспечением тем, что они интегрируют ответы большой языковой модели в свой рабочий процесс, такие как чат-боты, отвечающие на запросы, или процессоры документов, извлекающие данные. Хотя поток запросов кажется простым — запрос пользователя, запрос к LLM, обработка ответа — существует несколько точек сбоя. Проблемы с сетью, отклонения поставщика, недопустимые выходы JSON, галлюцинации и задержки могут все нарушить работу.

Обработка ошибок включает в себя принятие решения о соответствующих действиях при возникновении сбоев: повторная попытка запросов, отображение пояснительных сообщений, использование резервных моделей или ведение журналов для расследования. Устойчивость означает, что приложение продолжает работать несмотря на частичные сбои, известные как изящная деградация. Например, путевой помощник может переключиться на более маленькую резервную модель, если основной LLM выходит из строя, затем вернуться к заранее созданным гидам по дестинациям.

Системы производства должны классифицировать типы сбоев, чтобы правильно реагировать. Ключевые стратегии включают надлежащую логику повторной попытки с экспоненциальной задержкой, управление таймаутами и дедлайнами, предохранители для предотвращения каскадных сбоев, ограничение скорости и контроль параллелизма, идемпотентность для безопасных вызовов инструментов и обработку потоковых ответов. Эти техники обеспечивают контролируемые режимы сбоев, а не аварийное завершение работы приложения.