Агент ИИ, который только общается, несет мало риска, ведь неверный ответ можно просто запросить заново. Однако когда агент получает доступ к инструментам, ошибка может означать отправленное письмо или перечисленный платеж, и обычное решение, поставить перед первой моделью вторую для проверки, начинает казаться наймом стажера для контроля другого стажера.
Один простой случай показывает проблему. Клиента дважды списали за покупку на 12 долларов, и он попросил ИИ-агента оформить возврат. Агент выбрал правильный инструмент и правильного клиента, но подготовил сумму 120 000 центов вместо 1 200 центов за каждое списание. Идентификатор клиента действителен, значение является целым числом, и схема его принимает, поэтому ничего не выглядит сломанным. Сумма ошибочна в сто раз, такая ошибка возникает, когда доллары дважды переводятся в центы. Простой лимит в 500 долларов поймал бы версию на 1 200 долларов, но не ошибку на 120 долларов, которая все равно в десять раз больше одобренной клиентом суммы.
Этот пробел привел автора к модели Jev от Type Safe AI, выпущенной 15 сентября как первая из того, что компания называет моделями System One Models. Она пока находится в раннем доступе. Вместо генерации текста Jev получает состояние приложения и ограниченный вопрос и возвращает типизированный вероятностный ответ, что отличается от работы обычной чат-модели. Защита входных и выходных данных входит в число ее заявленных сценариев.
Автор отмечает, что проверка по схеме выявляет структурные ошибки, но не смысловые, например отправку письма неправильному получателю при действительных обоих адресах. Такая модель, как Jev, может подойти как уровень принятия решений в системе агентов, хотя статья посвящена тому, где ее разместить и каким решениям не стоит ее доверять, а не результатам тестирований.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing