Harnessesはプロンプトキャッシングを管理することでAI推論効率に大きな影響を与えます。Neuralwattのデータによると、キャッシュされていない入力はOpen CodeやPiなどのクライアント間で1.6%から11.1%まで変動します。92%のキャッシュレートは97%と比較して2.7倍多いプリフィル作業をもたらします。キャッシュブレイク—ハーネスが以前のプロンプトを編集することによって引き起こされる—は、最初の変更点からフルリコンピュテーションを強制します。ディープセッションはコストを増幅させます：128kトークンプロンプトの半分以上を再読み込みすることは、通常の600ターンに相当するエネルギー消費となります。クライアント間では大きな差があります：deepseek-harnessはキャッシュを約1%の時間で破りますが、Open CodeとPiは約3%の時間で破ります。Open Code 2.xはラボテストでは改善しましたが、本番環境ではそうではありません。エネルギー測定により、キャッシュミスはおおよそ消費を2倍にすることが確認されています；GLM-5.3では、ミスは2.5倍のコストが発生します。ハーネスは、モデルやハードウェアだけでなく、効率の主要なレバーです。
ほとんどのエージェントトラフィックは最小限の出力のために100k以上の入力トークンを送信します。サーバーは変更されていないプレフィックスに対してKVキャッシュを再利用し、これによりキャッシングが最高の効率源となります。ハーネスによるどんな編集でも—タイムスタンプでも—プレフィックス全体を無効にします。Neuralwattの30日間のクラウドデータによると、ハーネスはGPUワークロードの驚くべき割合を決定します。プロンプト構造の最適化により、モデルやハードウェアを変更せずに相当なエネルギーとコストの節約が可能になります。
出典: Hacker News · 要約：HeadlinesBriefing