En IA, la 'frontera eficiente' gestiona los compromisos entre costo y capacabilidades para los modelos. Un modelo es 'frontera' si ofrece la mayor inteligencia a un costo o tamaño dado. Existen dos técnicas de ingeniería de inferencia: aquellas que hacen compromisos entre factores, y aquellas que empujan toda la frontera hacia mayor eficiencia.

Las estrategias de procesamiento por lotes y paralelismo apuntan a puntos específicos en la frontera. Tamaños de lote pequeños ofrecen excelente latencia por usuario pero alto costo por token, mientras que lotes más grandes mejoran el rendimiento a costa de la latencia. El Paralelismo de Tensores (TP) reduce la latencia mediante comunicación rápida de NVLink, mientras que el grado de Paralelismo de Expertos (EP) afecta tanto la latencia como los resultados de rendimiento.

El Paralelismo de Datos de Atención (ADP) aumenta el rendimiento mediante la replicación de capas de atención. La frontera suele ser irregular, requiriendo barridos empíricos para encontrar configuraciones óptimas. Técnicas como la cuantización, la destilación y la poda comercian calidad por rendimiento, mientras que los niveles de razonamiento intercambian inteligencia por velocidad. Para la codificación agentiva con reutilización de caché KV y enrutamiento óptimo consciente de KV, las estrategias de despliegue deben equilibrar estos compromisos según la naturaleza del tráfico y la disposición del usuario a pagar.