В ИИ, 'эффективный фронтир' управляет компромиссами между стоимостью и возможностями для моделей. Модель является 'фронтирной', если она предлагает наивысший уровень интеллекта при заданной стоимости или размере. Существуют две техники инженерии инференса: те, которые делают компромиссы между факторами, и те, которые движут весь фронтир в сторону большей эффективности.

Стратегии пакетной обработки и параллелизма направлены на конкретные точки на фронтире. Малые размеры пакетов обеспечивают отличную задержку на пользователя, но высокую стоимость на токен, тогда как более крупные пакеты улучшают пропускную способность за счет задержки. Тензорный параллелизм (TP) уменьшает задержку благодаря быстрой связи через NVLink, тогда как степень экспертного параллелизма (EP) влияет как на задержку, так и на результаты пропускной способности.

Параллелизм данных внимания (ADP) увеличивает пропускную способность посредством репликации слоев внимания. Фронтир часто неровный, требуя эмпирических обходов для поиска оптимальных конфигураций. Техники, такие как квантование, дестилляция и усечение, торгуют качеством на пропускную способность, тогда как уровни рассуждения торгуют интеллектом на скорость. Для агентного программирования с повторным использованием кэша KV и оптимальным маршрутизацией, осведомленной о KV, стратегии развертывания должны учитывать эти компромиссы на основе характера трафика и готовности пользователя платить.