LLM-gestützte Anwendungen unterscheiden sich von traditioneller Software, indem sie große Sprachmodellantworten in ihren Arbeitsablauf integrieren, wie Chatbots, die Anfragen beantworten, oder Dokumentprozessoren, die Daten extrahieren. Obwohl der Anforderungsfluss einfach erscheint — Benutzeranfrage, Prompt an LLM, Antwortverarbeitung — gibt es mehrere Fehlerpunkte. Netzwerks Probleme, Anbieterablehnungen, ungültige JSON-Ausgaben, Halluzinationen und Latenz können alle den Betrieb stören.

Fehlerbehandlung beinhaltet, angemessene Aktionen zu ergreifen, wenn Ausfälle auftreten: Anfragen wiederholen, erläuternde Nachrichten anzeigen, Backup-Modelle verwenden oder Protokolle für die Untersuchung aufzeichnen. Resilienz bedeutet, dass die Anwendung trotz teilweiser Ausfälle weiterhin funktioniert, was als elegante Degradation bekannt ist. Zum Beispiel könnte ein Reiseassistent auf ein kleineres Backup-Modell wechseln, wenn das primäre LLM fehlschlägt, und dann auf vorab generierte Reiseziele zurückgreifen.

Produktionssysteme müssen Fehlertypen klassifizieren, um korrekt zu reagieren. Zu den wichtigsten Strategien gehören angemessene Wiederholungslogik mit exponentiellem Backoff, Timeout- und Deadline-Management, Schaltkreisschutz zum Verhindern von Kaskadenfehlern, Ratenbegrenzung und Nebenläufigkeitskontrollen, Idempotenz für sichere Tool-Aufrufe und Streaming-Antwortbehandlung. Diese Techniken stellen kontrollierte Fehlermodi anstelle von Anwendungsabstürzen sicher.