Robert y Din, de Laminar, empresa de la promoción S24 de Y Combinator, han presentado flow-1, un modelo de observabilidad de código abierto entrenado con aprendizaje por refuerzo para encontrar errores en las trazas de agentes de IA. En el benchmark de la compañía, flow-1 iguala a GPT-6-sol en calidad de detección y es 23 veces más barato, lo que hace asequible analizar cada traza de agente en producción en lugar de muestrearlas.
El equipo sostiene que los agentes ahora ejecutan muchos pasos y a menudo fallan en silencio. Un agente puede pulsar el botón equivocado o citar el documento incorrecto mientras todas las llamadas se completan con éxito. Detectar estos errores requiere entender lo que el agente intentaba hacer e inspeccionar sus llamadas a LLM y los resultados de sus herramientas, no solo leer la salida final. Recopilar trazas por sí solo no resuelve el problema, ya que muchas plataformas son básicamente recolectores de datos que almacenan trazas que nadie lee.
flow-1 funciona dentro de un marco llamado Signals, que actúa como un agente de programación que trata una traza de agente como un repositorio, con cada span tratado como un archivo. Busca en los spans con grep, lee en su totalidad los relevantes y devuelve los hallazgos como JSON con esquemas definidos por el usuario. Los eventos de señal similares se agrupan en clústeres, que los usuarios pueden utilizar para crear conjuntos de datos de evaluación con los que corregir fallos recurrentes.
Laminar tiene licencia Apache 2.0 y puede alojarse de forma autónoma, y la empresa obtiene ingresos de su nube gestionada. Los fundadores preguntaron a la comunidad cómo siguen el rendimiento de sus agentes y cómo verifican que las correcciones no introducen nuevos fallos.
Fuente: Hacker News · Resumido por HeadlinesBriefing