AIにおいて、「効率的フロンティア」はモデルのコストと能力の間のトレードオフを管理します。特定のコストやサイズで最高の知能を提供するモデルは「フロンティア」と呼ばれます。LLM推論には2種類の技術が存在します：要因間のトレードオフを行う技術と、全体のフロンティアをより効率的な方向に押し進める技術です。

バッチ処理と並列処理戦略はフロンティア上の特定のポイントを対象とします。小さいバッチサイズは優れたユーザーあたりの遅延を提供しますが、トークンあたりのコストが高くなります。一方、大きいバッチはスループットを向上させますが、遅延を犠牲にします。テンソル並列処理（TP）は高速なNVLink通信により遅延を減らし、専門家並列処理（EP）の程度は遅延とスループットの両方に影響を与えます。

注意データ並列処理（ADP）は注意層の複製によりスループットを向上させます。フロンティアはしばしば不整形であり、最適な構成を見つけるために経験的なスイープが必要です。量子化、蒸留、剪定などの技術はスループットのために品質を犠牲にし、推論レベルは速度のために知能を交換します。KVキャッシュの再利用と最適なKV認識ルーティングを伴うエージェントコーディングの場合、トラフィックの性質とユーザーの支払い意欲に基づいて、これらのトレードオフをバランスする必要があります。