マルチLLMシステムは多様なモデルを組み合わせて性能を向上させますが、既存の設計ではテキストを介した通信を強制され、豊かな意味情報が失われ、トークンごとのレイテンシが発生します。LLMはテキストを超えて通信できるでしょうか？Oracle実験は、KV-Cacheの意味情報を豊かにすることでキャッシュサイズを増やさずに応答品質が向上することを示しています。

そこで、Cache-to-Cache (C2C) が提案されています：LLM間の直接的な意味的コミュニケーションのための新しいパラダイムです。C2Cはニューラルネットワークを使用してソースモデルのKVキャッシュを投影し、ターゲットモデルのKVキャッシュと融合することで、直接的な意味転送を可能にします。学習可能なゲーティング機構が、キャッシュ通信から恩恵を受けるターゲット層を選択します。

テキスト通信と比較して、C2Cは両方のモデルから深く専門化された意味情報を活用しつつ、明示的な中間テキスト生成を回避します。実験では、C2Cは個別モデルよりも平均精度が6.4-14.2%高く、テキスト通信よりも約3.1-5.4%優れ、レイテンシで平均2.5倍の高速化を実現します。コードは提供されたURLで入手可能です。

主要エンティティ：人物：Tianyu Fu

FAQ：Cache-to-Cache (C2C) とは何ですか？

C2Cは、KVキャッシュを投影・融合することでLLM間の直接的な意味的コミュニケーションを行うパラダイムであり、テキスト生成を回避し、精度とレイテンシを改善します。

FAQ質問：Cache-to-Cache (C2C) とは何ですか？

FAQ回答：C2Cは、KVキャッシュを投影・融合することでLLM間の直接的な意味的コミュニケーションを行うパラダイムであり、テキスト生成を回避し、精度とレイテンシを改善します。