Jetzt kann jeder eine LLM-Demo mit einem einzigen API-Aufruf erstellen. Diese gleiche Funktion im realen Leben mit echten Benutzern, echten Daten und einer echten Rechnung überleben zu lassen, ist eine andere Arbeit. Diese Arbeit reduziert sich auf fünf Fähigkeiten, die fast in jedem Produktivsystem auftreten, mit dem ich gearbeitet oder welche ich überprüft habe: Retrieval, Routing, Guardrails, Evals und Agent Loops.

Jede davon beantwortet eine Frage, die ein Modell allein an den Grenzen nicht bewältigen kann. Woher kommt die Daten meines Unternehmens? Warum ist die Rechnung so hoch? Was passiert, wenn jemand einen feindlichen Prompt sendet? Hat meine letzte Änderung die Dinge besser oder schlechter gemacht? Wie bringe ich ein Modell dazu, mehrstufige Aufgaben ohne Fallen auszuführen? Fähigkeit #1: RAG, ein Modell in Ihre eigenen Daten verankern Ein Basismodell kennt die Dokumente Ihres Unternehmens nicht, und es anzupassen, jedes Mal wenn sie sich ändern, ist langsam und teuer. Retrieval-augmented Generation (RAG) ruft die relevanten Dokumente bei einer Abfrage ab und übergibt sie dem Modell als Kontext.

Es ist immer noch das häufigste LLM-Muster in der Produktion und in der Regel das erste, was ein Curriculum lehrt. Die interessante Arbeit liegt im Retrieval. Ob Sie den richtigen Chunk zurückgeben, hängt davon ab, wie Sie Dokumente aufteilen (Chunking), ob Sie Schlüsselwort- und Semantiksuche kombinieren (Hybrid-Retrieval) und ob Sie Ergebnisse neu anordnen, bevor sie das Modell erreichen (Reranking).

Fähigkeit #2: Modell-Routing: Für das Modell zahlen, das der Aufgabe benötigt Wenn Sie jede Anfrage an ein Modell an den Grenzen senden, ist dies der schnellste Weg zu einer Rechnung, die niemand erklären kann. Das Routing sendet einfache, hochvolumige Anfragen an ein kleines oder lokales Modell und reserviert das teure Modell für die schwierigen. Es wird berichtet, dass das Hinzufügen eines Caches für wiederholte Prompts die Produktions-Inferenzrechnungen um 40 % bis 70 % reduziert, weshalb das Routing von einem fortgeschrittenen Trick zu einer Grunderwartung wurde.

Die Fähigkeit besteht darin, eine Anfrage zu bewerten und eine Ebene auszuwählen.