Robert и Din из Laminar, компании из батча Y Combinator S24, выпустили flow-1, открытую модель наблюдаемости, обученную с помощью обучения с подкреплением для поиска ошибок в трассировках ИИ-агентов. По результатам внутреннего бенчмарка компании, flow-1 не уступает GPT-6-sol по качеству обнаружения, но стоит в 23 раза дешевле, что делает экономически доступным анализ каждой производственной трассировки агента вместо выборочной проверки.
Команда утверждает, что агенты сейчас выполняют множество шагов и часто выходят из строя незаметно. Агент может нажать не на ту кнопку или сослаться на не тот документ, при этом все вызовы завершаются успешно. Чтобы поймать такие ошибки, нужно понимать, чего агент пытался добиться, и проверять его вызовы LLM и результаты инструментов, а не только читать итоговый вывод. Одного сбора трассировок недостаточно, поскольку многие платформы фактически являются коллекторами данных, которые хранят трассировки, никем не читаемые.
flow-1 работает внутри системы под названием Signals, которая действует как агент для программирования, рассматривая трассировку агента как репозиторий, где каждый span считается файлом. Она выполняет поиск по spans, полностью читает нужные и возвращает результаты в виде JSON по схемам, заданным пользователем. Похожие сигнальные события группируются в кластеры, которые пользователи могут применять для создания наборов данных для оценки и исправления повторяющихся сбоев.
Laminar распространяется по лицензии Apache 2.0 и может развертываться на собственных серверах, а компания получает доход от управляемого облачного сервиса. Основатели обратились к сообществу с вопросами о том, как оно отслеживает производительность агентов и как проверяет, что исправления не вносят новых сбоев.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing