Maintenant, n’importe qui peut créer une démo LLM avec un seul appel API. Faire survivre cette même fonction face à des utilisateurs réels, des données réelles et une vraie facture est un tout autre travail. Ce travail se résume à cinq compétences qui apparaissent dans presque tous les systèmes de production sur lesquels j’ai travaillé ou revus : la récupération, le routage, les garde-fous, les évaluations et les boucles d’agents.

Chacune répond à une question qu’un modèle frontalier ne peut pas gérer seul. D’où vient les données de mon entreprise ? Pourquoi la facture est-elle si élevée ? Que se passe-t-il quand quelqu’un envoie un prompt hostile ? Ma dernière modification a-t-elle amélioré ou dégradé les choses ? Comment faire pour qu’un modèle effectue des travaux multi-étapes sans tomber ? Compétence #1 : RAG, ancrer un modèle dans vos propres données Un modèle de base ne connaît pas les documents de votre entreprise, et le fine-tuning à chaque changement est lent et coûteux. La génération augmentée par récupération (RAG) récupère les documents pertinents au moment de la requête et les transmet au modèle comme contexte.

C’est toujours le modèle LLM le plus courant en production et c’est généralement la première chose qu’un programme d’études enseigne. Le travail intéressant se situe dans la récupération. Le fait de renvoyer le bon segment dépend de la manière dont vous divisez les documents (chunking), de savoir si vous combinez la recherche par mots-clés et sémantique (récupération hybride) et de savoir si vous réordonnez les résultats avant qu’ils n’atteignent le modèle (reranking).

Compétence #2 : Routage de modèles : payer pour le modèle dont la tâche a besoin Envoyer chaque requête à un modèle frontalier est le moyen le plus rapide d’arriver à une facture que personne ne peut expliquer. Le routage envoie les requêtes faciles et à fort volume à un petit ou local modèle et réserve le modèle coûteux pour les difficiles. On rapporte que l’ajout d’un cache pour les invites répétées réduit de 40 à 70 % les factures d’inférence en production, d’où la raison pour laquelle le routage est passé d’un astuce avancée à une attente de base.

La compétence consiste à noter une requête et à choisir un niveau.