Wenn eine Anwendung ein großes Sprachmodell (LLM) übernimmt, wählt sie in der Regel das leistungsfähigste Modell. Das bedeutet, dass jede einzelne Anfrage an dieses teure Modell gesendet wird. Obwohl dieser Ansatz einfacher zu implementieren ist, kann er auf lange Sicht ziemlich teuer werden. Zum Beispiel erfordert eine Anfrage wie "klassifizieren Sie dieses Support-Ticket als Abrechnung, technisch oder konto-bezogen" nicht das gleiche Maß an Denkvermögen wie "untersuchen Sie, warum diese Finanzunterlagen nicht richtig übereinstimmen, und erklären Sie die wahrscheinliche Ursache".

Mit intelligentem Modell-Routing können wir dieses Problem lösen. Bei einem solchen Routing-Ansatz wählen wir für jede Anfrage ein bestimmtes Modell. Mit anderen Worten: Einfache Arbeit wird an ein kleines Modell gesendet, das möglicherweise weniger kostet, und schwierige Arbeit wird an ein leistungsfähigeres Modell weitergeleitet. Wenn die meisten Anfragen einfach sind, kann dieser Ansatz die Gesamtkosten erheblich senken, manchmal sogar um etwa das 10-fache. Außerdem sinkt die Qualität der Antwort nicht spürbar.

Allerdings ist die Kostensenkung nicht garantiert. Sie hängt auch von der Art der Anfragen ab, die die Anwendung erhält, von der Preisdifferenz zwischen den Modellen und davon, wie gut das Routing-System funktioniert. Die Gesamtkosten für die Nutzung einer LLM-API hängen in der Regel von der Anzahl der verarbeiteten Token ab. Eingabetoken umfassen die Nachricht des Benutzers, Systemanweisungen, den Gesprächsverlauf und alle dem Modell bereitgestellten Dokumente. Ausgabetoken sind die in der Antwort generierten Token. Größere und leistungsfähigere Modelle kosten in der Regel mehr, da sie mehr Rechenressourcen benötigen.

Stellen Sie sich zum Beispiel eine Kundensupport-Anwendung vor, die eine Million Anfragen pro Monat verarbeiten muss. Wenn jede Anfrage an das leistungsstärkste Modell geht, muss das Unternehmen auch für ziemlich einfache Arbeit einen Premium-Preis zahlen. Sie könnten sich das so vorstellen, als würden Sie einen leitenden Software-Architekten einstellen, um Dateien umzubenennen, Support-Tickets zu sortieren und Daten zu formatieren – eine Verschwendung von Fähigkeiten und schlechtes Ressourcenmanagement.