すべてのモデル呼び出しがテキスト生成を必要とするわけではありません。ルーティングは、大規模なエージェントシステム内に隠された小さな決定であることが多く、それにもかかわらず、多くのシステムはデコーダ言語モデルにトークンごとにその選択を生成するよう求めます。デコーダルーターは本質的に間違っているわけではありません。ポリシーがオープンエンドであるか、ルートセットが急速に変化する場合に役立ちます。しかし、安定した有限のルートセットは、分類形状の問題を生み出し、それは1つとして測定されるべきです。

実用的な機会は、決定層です：明示的な候補ルート、型付きスコア、しきい値または棄権ポリシー、および決定論的なソフトウェアブランチ。新規性は、分類の再発見ではなく、新しいシステムプリミティブです。Jevは、型付きの確率的決定インターフェースの有用な公開例です。その独自のアーキテクチャとトレーニング目的は公開されていません。

効率と精度は、想定されるのではなく、実証されなければなりません。同じルート、データ、ポリシー、評価メトリクスで、デコーダルーティング、エンコーダプラスヘッドベースライン、および構造化決定実装を比較してください。

現代のAIの支配的なメンタルモデルは生成的です：プロンプトを提供し、デコーダに次のトークンを予測させます。それは並外れた能力ですが、それが機械知能の唯一の有用な形態ではありません。エージェントシステム内の多くのアクションは、制限された運用上の質問です：どの専門家がこのケースを受け取るべきか？証拠は進めるのに十分か？システムは行動すべきか、エスカレートすべきか、棄権すべきか？