企業向け AI における次の競争優位は、どのモデルを選ぶかよりも、そのモデルの周囲に何を構築するかにかかっています。AI が実験段階から本番運用へと移行するにつれ、中心的な問いは「モデルに何ができるか」から「その知能を信頼性高く、経済的に、大規模に提供できるか」へと変わりました。その答えは、ますます サービング・ハーネス に依存しています。サービング・ハーネスとは、モデルを取り囲む工学的システムのことで、そのアーキテクチャ、メモリ管理、スケジューリング、最適化の判断を含みます。
出発点はモデルではなくワークロードです。素早い応答に最適化された顧客向けアシスタントと、夜間に実行できる文書処理パイプラインでは、求められる要件がまったく異なります。本番環境では、レイテンシ、同時実行数、メモリ圧力、GPU 利用率、インフラコスト、予測不能なトラフィックといった制約が生じます。回答がわずかに優れていても、推論コストが倍増したり、レイテンシ要件を満たせなかったりするモデルは、より良い選択とはいえません。目標は、ワークロードごとに適切なコストで適切な知能を配備することです。
サービングに関する判断は互いに影響し合います。アーキテクチャはメモリ使用量に影響し、メモリは同時実行数に影響し、同時実行数はバッチ処理、スケジューリング、GPU 利用率を形作ります。GPU メモリはその分かりやすい例です。同時実行数が増えると、計算能力に余裕があっても キー・バリューキャッシュ が利用可能なメモリを使い尽くすことがあります。そのボトルネックを特定せずに計算資源を増やしても、非効率なシステムがより高価になるだけです。
基本となる規律は、最適化する前に測定することです。支配的な制約を特定し、それに対処し、結果を測定し、新たなボトルネックが現れていないかを確認します。最適化手法は、それ自体のために寄せ集めるべきではありません。目的は、特定のワークロードにおいて最も影響の大きい制約を取り除く手法を適用することです。
出典: MIT Technology Review AI · 要約：HeadlinesBriefing