Языковых моделей часто просят генерировать ответ токен за токеном, хотя программе нужно лишь выбрать один вариант из ограниченного набора. Клиенту банка, который сообщает, что с него дважды списали деньги за один и тот же перевод, нужно направить запрос в службу поддержки, и генерация JSON-метки добавляет к этому решению ненужную генерацию текста и его разбор.
В этой статье семь открытых моделей решений "Jev" сравниваются с базовой генерацией JSON на основе Qwen. Вместо генерации ответа модели в стиле Jev оценивают доступных кандидатов и возвращают типизированное решение. Сравнение охватывает банковские запросы как с фиксированными списками маршрутов, так и с меняющимися меню кандидатов, что важно, поскольку инструменты агентов и варианты рабочих процессов часто меняются во время выполнения.
Kev лидировал по точности, достигнув 98% как на фиксированных маршрутах, так и на меняющихся кандидатах. Verdict показал 89% на меняющихся кандидатах, тогда как базовая LLM Qwen3-0.6B набрала 66%, а на фиксированных маршрутах — 83%. Генерация JSON по-прежнему превосходила три конфигурации считывания на Qwen. Kev и Verdict не генерировали ни одного токена ответа, в то время как генерация JSON на Qwen тратила примерно 10 токенов на запрос.
Зарегистрированная медианная задержка запроса составила 125–130 мс для Kev и 17–18 мс для Verdict, против 331–357 мс для базовой LLM на обеих панелях. Стартовый набор и бенчмарк доступны читателям, которые хотят попробовать модель решений и сравнить генерацию JSON с прямым считыванием.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing