Robert et Din, de Laminar, une entreprise de la promotion S24 de Y Combinator, ont publié flow-1, un modèle d'observabilité open source entraîné par apprentissage par renforcement pour repérer les erreurs dans les traces d'agents IA. Sur le benchmark de l'entreprise, flow-1 égale GPT-6-sol en qualité de détection tout en étant 23 fois moins cher, ce qui rend abordable l'analyse de chaque trace d'agent en production plutôt que leur échantillonnage.
L'équipe affirme que les agents exécutent désormais de nombreuses étapes et échouent souvent en silence. Un agent peut cliquer sur le mauvais bouton ou citer le mauvais document alors que chaque appel se termine avec succès. Pour détecter ces erreurs, il faut comprendre ce que l'agent tentait de faire et inspecter ses appels aux LLM ainsi que les résultats de ses outils, et pas seulement lire la sortie finale. La simple collecte de traces ne résout pas le problème, car de nombreuses plateformes sont essentiellement des collecteurs de données qui stockent des traces que personne ne lit.
flow-1 fonctionne au sein d'un harnais appelé Signals, qui se comporte comme un agent de programmation traitant la trace d'un agent comme un dépôt de code, chaque span étant considéré comme un fichier. Il effectue des recherches grep dans les spans, lit intégralement les spans pertinents et renvoie ses conclusions au format JSON selon des schémas définis par l'utilisateur. Les événements de signal similaires sont regroupés en clusters, que les utilisateurs peuvent exploiter pour constituer des jeux de données d'évaluation afin de corriger les pannes récurrentes.
Laminar est distribué sous licence Apache 2.0 et peut être auto-hébergé, l'entreprise tirant ses revenus de son offre cloud géré. Les fondateurs ont demandé à la communauté comment elle suit les performances de ses agents et comment elle vérifie que les correctifs n'introduisent pas de nouvelles pannes.
Source: Hacker News · Résumé par HeadlinesBriefing