Le prochain avantage concurrentiel de l'IA en entreprise dépend moins du modèle choisi que de ce que l'on construit autour. À mesure que l'IA passe de l'expérimentation à la production, la question centrale n'est plus « que peut faire le modèle ? » mais « pouvons-nous délivrer cette intelligence de manière fiable, économique et à grande échelle ? ». La réponse dépend de plus en plus du harnais de service : le système d'ingénierie qui entoure le modèle, y compris son architecture, sa gestion de la mémoire, son ordonnancement et ses choix d'optimisation.
Le bon point de départ est la charge de travail, non le modèle. Un assistant destiné aux clients, optimisé pour des réponses rapides, n'a pas les mêmes exigences qu'un pipeline de traitement de documents pouvant tourner pendant la nuit. La production impose des contraintes telles que la latence, la concurrence, la pression sur la mémoire, l'utilisation des GPU, le coût de l'infrastructure et un trafic imprévisible. Un modèle qui fournit des réponses marginalement meilleures n'est pas le meilleur choix s'il double les coûts d'inférence ou ne respecte pas les exigences de latence. L'objectif est de déployer la bonne intelligence, au bon coût, pour chaque charge de travail.
Les décisions de service s'influencent mutuellement. L'architecture affecte l'utilisation de la mémoire, la mémoire affecte la concurrence, et la concurrence façonne le regroupement des requêtes, l'ordonnancement et l'utilisation des GPU. La mémoire GPU en est un exemple clair : à mesure que la concurrence augmente, le cache clé-valeur peut épuiser la mémoire utilisable alors que la puissance de calcul reste disponible. Ajouter davantage de calcul sans identifier ce goulot d'étranglement ne fait que rendre un système inefficace encore plus coûteux.
La règle directrice consiste à mesurer avant d'optimiser, identifier la contrainte dominante, la traiter, mesurer le résultat et vérifier qu'un nouveau goulot d'étranglement n'est pas apparu. Les techniques d'optimisation ne doivent pas être accumulées pour elles-mêmes. Le but est d'appliquer la technique qui lève la contrainte ayant le plus fort impact pour une charge de travail donnée.
Source: MIT Technology Review AI · Résumé par HeadlinesBriefing