Если вас интересует передовая экономичность ваших ИИ-агентов, мы будем рады поработать вместе! Свяжитесь с нами: [email protected]. Развёртывая агентов в реальных условиях, мы хотели, чтобы они быстро отвечали и были экономичными. Мы заметили, что агенты тратят время и токены на управление вызовами инструментов, поэтому мы создали Unreal Agent с харнессом, который снижает накладные расходы на управление инструментами. Харнесс управляет вызовами инструментов асинхронно, избавляя модель от ожиданий, опросов и heartbeat-сигналов. Это позволяет пользователям управлять агентом, не дожидаясь вызовов инструментов, и планирует больше полезной работы инструментов между вызовами модели. Текущая версия обеспечивает до 40% экономии затрат по сравнению с Codex и до 20% по сравнению с Pi на реальных рабочих нагрузках и бенчмарках.

Если вы создаёте продукт, ориентированный на агентов, золотого пути не существует. У SDK крупных брендов есть компромиссы: SDK, ориентированные на CLI, такие как Agent SDK от Claude, предполагают локальные сессии и подпроцессы, требуя кастомного управления жизненным циклом. Поддержка других провайдеров добавляет работу по совместимости. Тяжёлые зависимости добавляют риски обслуживания и цепочки поставок. Безопасность и одобрения через хуки харнесса, как правило, менее надёжны, чем детерминированные ограничения песочницы. Мы также хотели харнесс, который принимает управление пользователя без задержки и справляется с разнородными вызовами инструментов без дополнительной когнитивной нагрузки. Например, запуск настройки среды разработки во время изучения кода и параллельного поиска в интернете, без токенной платы. Каждый вызов инструмента добавляет запись в журнал событий в состоянии «в процессе», продолжая работу в фоне; по завершении мы добавляем результат и вызываем LLM. Заставить это работать, не ломая кэш, было инженерной задачей.

Unreal Agent достигает тех же результатов с меньшим числом ходов модели и входных токенов. Экономия достигается за счёт минимального следа харнесса, оптимизированных по токенам результатов инструментов, отсутствия субагентов и большего объёма работы инструментов за ход модели. Асинхронная модель вызова инструментов позволяет больше тяжёлых вызовов за ход без траты токенов на опросы или ожидание. Мы создали Unreal Agent для реальных производственных рабочих процессов, и он хорошо выглядит и в бенчмарках.

Ключевые сущности: Компании: Unreal Labs, Codex, Pi, Claude