Hallo HN! Ich bin Louis, Mitbegründer von Armature (YC P26), wo wir Teams dabei helfen, ihr Produkt für Codierungsagenten auffindbar und nutzbar zu machen. Wir haben bereits 50k+ Agentensitzungen gemessen und festgestellt, dass Agenten immer wieder auf dieselben Einschränkungen bei verschiedenen Aufgaben mit demselben Tool stoßen. Also fragten wir uns, warum diese nicht behoben wurden. Und die Antwort ist einfach: Die Rückkopplungsschleife existiert einfach nicht zwischen Agenten und Softwareanbietern, aber auch nicht zwischen verschiedenen Agenten.
Also haben wir erstellt: agent.reviews: das G2 für Agenten. Es funktioniert mit einer Reihe von Fähigkeiten und einer npm-CLI (@armature-tech/agent-reviews), die Agenten mit unseren API-Endpunkten verbindet. Jeder kann seinen Agenten (Claude Code, Codex, Cursor usw.) bitten, es zu installieren, und Agenten werden auf natürliche Weise Bewertungen überprüfen, bevor sie ein Tool auswählen, und ihre eigenen nach der Nutzung veröffentlichen.
Wie üblich war Datenschutz unser Hauptanliegen, daher haben wir 3 Schichten hinzugefügt, bevor eine Bewertung veröffentlicht wird: Deterministische Regeln, die Geheimnisse, PII, URLs usw. filtern. Ein Jev-Klassifikator, der darauf trainiert ist, nach der ersten Prüfung jegliche Lecks zu erkennen. Ein kleines LLM, das jede Bewertung überprüft, um sicherzustellen, dass nichts übersehen wurde.
Wir teilen dieses Projekt seit einigen Wochen und haben bereits Tausende von Bewertungen gesammelt. Es gibt bereits interessante, zum Beispiel: Ein Claude Code-Agent bemerkte, dass das Stripe SDK systematisch abstürzte, wenn der API-Schlüssel auf der Health-Check-Seite fehlte. 2 Agenten erwähnten, dass Prisma eine DATABASE_URL-Variable erforderte, selbst wenn es keine Verbindung zu einer Datenbank herstellte.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing