24 сентября 2026 Типизированные решения с вероятностью для каждой опции, за один проход: соответствие точности и скорости Jev с помощью LLM. Марко Розенмюллер, Ph.D. Технический руководитель AITL; DR: В этом посте мы показываем, как LLM общего назначения может принимать типизированные решения за один проход. Этот подход делает возможным превращение LLM в модель решений, подобную Jev. Мы оцениваем подход, используя GLM-5.3-Flash, работающий на Privatemode. Используя бенчмарк, построенный на основе публичных наборов данных, мы показываем, что эта конфигурация deliver результаты, сопоставимые с Jev от Type Safe с точки зрения точности/правильности решений и скорости. В качестве bonuses, конфигурация с GLM-5.3-Flash позволяет принимать типизированные решения по изображениям, что недоступно для Jev. Как это работает Playground Benchmark Почему типизированные решения Многое, что софт спрашивает у LLM, представляет собой решение. "Какая команда должна обработать этот тикет?", или "Попадает ли эта clause контракта в раздел ответственности?". В таких случаях софт обычно требует, чтобы ответ LLM следовал определенному формату, например JSON, и поступал из предварительно определенного набора, например "да" и "нет". При правильных инструкциях LLM обычно уже могут это надежно выполнять. Однако в базовом подходе скорость и стоимость становятся проблемой: Для каждого решения LLM нужно писать целый JSON объект, а модель рассуждения может думать сотни токенов перед этим. Кроме того, вы также неlearn confidence модели (если только не попросите ее явно). Все эти аспекты могут иметь большое значение на практике и до сих пор мешают людям использовать LLM для принятия решений в сценариях высокого объема/высокой производительности. Специализированные модели решений (или модели "System One"), такие как Jev и Laya, разработаны для решения этой проблемы. Вы передаете кусок состояния и набор именованных опций, и получаете выбранную опцию вместе с значением уверенности (то есть вероятностью) для каждой из них. Превращение LLM в модель решений Изначально мы спрашивали себя, можно ли превратить LLM в модель решений с похожими на Jev свойствами. Короткий ответ: "да". В дальнейшем мы покажем, как это работает. Чтобы понять наш подход, важно понимать, как работают LLM: LLM никогда не пишет текст напрямую. Получив промпт, LLM выводит распределение вероятностей по всему своему словарю токенов. При генерации текста, в simplest случае, токен с наибольшей вероятностью выбирается как следующий токен. Выбранный токен затем добавляется к пропту и весь процесс повторяется. Как описано выше, это дорого и медленно, если вы просто хотите установить несколько полей в JSON объекте. Наша ключевая идея в том, что не нужно, чтобы LLM предсказывал весь JSON объект, так как мы уже знаем его форму. Нас интересует только типизированное суждение LLM для данного ввода. Мы realized, что можно craft промпты так, чтобы получить типизированное суждение за один запуск LLM — без дообучения, на модели именно в том виде, в котором она поставляется. Это отличие от Jev и Laya, которые являются моделями, обученными для этой цели. Основные шаги следующие: Нумерация опций. Состояние, вопрос и выходные опции попадают в промпт в виде JSON, с индексом на каждой опции. Инструкция просит модель first output token как решение...