Robert und Din von Laminar, einem Unternehmen aus dem Y-Combinator-Jahrgang S24, haben flow-1 veröffentlicht, ein quelloffenes Observability-Modell, das mit Reinforcement Learning trainiert wurde, um Fehler in Traces von KI-Agenten zu finden. Im Benchmark des Unternehmens erreicht flow-1 bei der Erkennungsqualität das Niveau von GPT-6-sol und ist dabei 23-mal günstiger. Dadurch wird es erschwinglich, jeden Produktions-Trace eines Agenten zu analysieren, statt nur Stichproben zu prüfen.
Das Team argumentiert, dass Agenten heute über viele Schritte hinweg arbeiten und oft still scheitern. Ein Agent kann den falschen Button anklicken oder das falsche Dokument zitieren, während jeder Aufruf erfolgreich abgeschlossen wird. Um diese Fehler zu erkennen, muss man verstehen, was der Agent erreichen wollte, und seine LLM-Aufrufe sowie Tool-Ergebnisse prüfen, nicht nur die finale Ausgabe lesen. Das bloße Sammeln von Traces löst das Problem nicht, denn viele Plattformen sind im Grunde Datensammler, die Traces speichern, die niemand liest.
flow-1 läuft innerhalb eines Frameworks namens Signals, das wie ein Coding-Agent arbeitet: Es behandelt einen Agenten-Trace als Repository, wobei jeder Span als Datei gilt. Es durchsucht die Spans mit grep, liest relevante Spans vollständig und gibt die Ergebnisse als JSON in benutzerdefinierten Schemata zurück. Ähnliche Signal-Ereignisse werden zu Clustern gruppiert, die Nutzer verwenden können, um Evaluierungsdatensätze für die Behebung wiederkehrender Fehler aufzubauen.
Laminar steht unter der Apache-2.0-Lizenz und kann selbst gehostet werden, während das Unternehmen seine Einnahmen mit einer verwalteten Cloud erzielt. Die Gründer fragten die Community, wie sie die Leistung ihrer Agenten verfolgt und wie sie überprüft, dass Korrekturen keine neuen Fehler verursachen.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing