Aplikasi yang didukung oleh LLM berbeda dari perangkat lunak tradisional dengan mengintegrasikan respons model bahasa besar ke dalam alur kerjanya, seperti chatbot yang menjawab pertanyaan atau pemroses dokumen yang mengekstrak data. Meskipun alur permintaan tampak sederhana — permintaan pengguna, prompt ke LLM, pemrosesan respons — ada beberapa titik kegagalan. Masalah jaringan, penolakan penyedia, keluaran JSON yang tidak valid, halusinasi, dan latensi dapat semuanya mengganggu operasi.

Penanganan kesalahan melibatkan pengambilan keputusan tentang tindakan yang sesuai ketika kegagalan terjadi: mencoba kembali permintaan, menampilkan pesan penjelasan, menggunakan model cadangan, atau mencatat untuk investigasi. Resilien adalah aplikasi yang terus berfungsi meskipun ada kegagalan parsial, yang dikenal sebagai degradasi halus. Sebagai contoh, asisten perjalanan mungkin beralih ke model cadangan yang lebih kecil jika LLM utama gagal, lalu kembali ke panduan tujuan yang telah dibuat sebelumnya.

Sistem produksi harus mengklasifikasikan jenis kegagalan untuk merespons dengan benar. Strategi kunci termasuk logika percobaan yang sesuai dengan backoff eksponensial, pengelolaan batas waktu dan tenggat waktu, circuit breaker untuk mencegah kegagalan beruntun, pembatasan laju dan kontrol konkurensi, idempotensi untuk panggilan alat yang aman, dan penanganan respons streaming. Teknik-teknik ini memastikan mode kegagalan yang terkontrol daripada crash aplikasi.