En IA, la 'frontière efficace' gère les compromis entre coût et capacités pour les modèles. Un modèle est 'frontalier' s'il offre la plus grande intelligence à un coût ou une taille donnés. Deux techniques d'ingénierie d'inférence existent : celles qui font des compromis entre les facteurs, et celles qui poussent toute la frontière vers plus d'efficacité.

Les stratégies de traitement par lots et de parallélisme ciblent des points spécifiques sur la frontière. Les petites tailles de lot offrent une excellente latence par utilisateur mais un coût élevé par jeton, tandis que les lots plus grands améliorent le débit au détriment de la latence. Le Parallelisme de Tenseurs (TP) réduit la latence grâce à une communication rapide via NVLink, tandis que le degré de Parallelisme d'Experts (EP) affecte à la fois la latence et les résultats de débit.

Le Parallelisme de Données d'Attention (ADP) augmente le débit grâce à la réplication des couches d'attention. La frontière est souvent irrégulière, nécessitant des balayages empiriques pour trouver des configurations optimales. Des techniques comme la quantification, la distillation et l'élagage échangent qualité contre débit, tandis que les niveaux de raisonnement échangent intelligence contre vitesse. Pour la programmation agentique avec réutilisation du cache KV et routage optimal conscient du KV, les stratégies de déploiement doivent équilibrer ces compromis en fonction de la nature du trafic et de la volonté du utilisateur de payer.