Robert e Din, da Laminar, empresa da turma S24 da Y Combinator, lançaram o flow-1, um modelo de observabilidade de código aberto treinado com aprendizado por reforço para encontrar erros em rastros de agentes de IA. No benchmark da empresa, o flow-1 iguala o GPT-6-sol em qualidade de detecção, sendo 23 vezes mais barato, o que torna viável analisar todos os rastros de agentes em produção, em vez de amostrá-los.
A equipe argumenta que os agentes agora executam muitas etapas e frequentemente falham silenciosamente. Um agente pode clicar no botão errado ou citar o documento incorreto enquanto todas as chamadas são concluídas com sucesso. Detectar esses erros exige entender o que o agente estava tentando fazer e inspecionar suas chamadas a LLMs e os resultados das ferramentas, não apenas ler a saída final. Coletar rastros, por si só, não resolve o problema, já que muitas plataformas são basicamente coletores de dados que armazenam rastros que ninguém lê.
O flow-1 roda dentro de um framework chamado Signals, que atua como um agente de programação que trata o rastro de um agente como um repositório, com cada span tratado como um arquivo. Ele faz buscas com grep entre os spans, lê integralmente os relevantes e devolve as conclusões em JSON, em esquemas definidos pelo usuário. Eventos de sinal semelhantes são agrupados em clusters, que os usuários podem usar para criar conjuntos de dados de avaliação e corrigir falhas recorrentes.
A Laminar é licenciada sob Apache 2.0 e pode ser hospedada localmente, e a empresa obtém receita de sua nuvem gerenciada. Os fundadores perguntaram à comunidade como ela acompanha o desempenho dos agentes e como verifica se as correções não introduzem novas falhas.
Fonte: Hacker News · Resumido por HeadlinesBriefing