Не каждый вызов модели должен генерировать текст. Маршрутизация часто является маленьким решением, скрытым внутри большой агентной системы, однако многие системы просят декодер языковой модели генерировать этот выбор токен за токеном. Декодер-маршрутизатор не является inherently неправильным. Он полезен, когда политика открыта или набор маршрутов быстро меняется. Но стабильный, конечный набор маршрутов создает проблему в форме классификации, которая должна измеряться как таковая.

Практическая возможность — это слой принятия решений: явные кандидаты маршрутов, типизированные оценки, политика порога или воздержания и детерминированные программные ветви. Новизна заключается в новом примитиве системы, а не в переоткрытии классификации. Jev является полезным публичным примером типизированного, вероятностного интерфейса принятия решений; его проприетарная архитектура и цель обучения не являются публичными.

Эффективность и точность должны быть продемонстрированы, а не предполагаться. Сравните маршрутизацию декодером, базовый уровень кодировщик-плюс-головка и реализацию структурированного решения на одних и тех же маршрутах, данных, политиках и метриках оценки.

Доминирующая ментальная модель современного ИИ является генеративной: предоставить подсказку, затем позволить декодеру предсказать следующий токен. Это экстраординарная способность, но это не единственная полезная форма машинного интеллекта. Многие действия внутри агентной системы являются ограниченными операционными вопросами: Какой специалист должен получить этот случай? Достаточно ли доказательств для продолжения? Должна ли система действовать, эскалировать или воздержаться?