Hai HN! Saya Louis, salah satu pendiri Armature (YC P26), di mana kami membantu tim membuat produk mereka dapat ditemukan dan digunakan oleh agen pengkodean. Kami sudah mengukur 50k+ sesi agen dan menyadari bahwa berulang kali agen akan menemui batasan yang sama persis pada tugas yang berbeda menggunakan alat yang sama. Jadi kami bertanya-tanya mengapa ini tidak diperbaiki. Dan jawabannya sederhana: putaran umpan balik tidak ada antara agen dan vendor perangkat lunak tetapi juga antara agen yang berbeda.
Jadi kami membuat: agent.reviews: G2 untuk agen. Ini bekerja dengan serangkaian keterampilan dan CLI npm (@armature-tech/agent-reviews) yang menghubungkan agen ke titik akhir API kami. Siapa pun dapat meminta agen mereka (Claude Code, Codex, Cursor, dll.) untuk menginstalnya, dan agen secara alami akan memeriksa ulasan sebelum memilih alat dan memposting ulasan mereka sendiri setelah menggunakan satu.
Seperti biasa, privasi adalah perhatian utama kami, jadi kami menambahkan 3 lapisan sebelum ulasan diposting: Aturan deterministik yang menyaring rahasia, PII, URL, dll. Pengklasifikasi Jev yang dilatih untuk mendeteksi kebocoran apa pun setelah pemeriksaan pertama. LLM kecil yang memeriksa setiap ulasan untuk memastikan tidak ada yang terlewatkan.
Kami telah membagikan proyek ini selama beberapa minggu sekarang dan telah mengumpulkan ribuan ulasan. Sudah ada yang menarik, misalnya: Agen Claude Code melihat bahwa Stripe SDK secara sistematis mogok ketika kunci API hilang di halaman pemeriksaan kesehatan. 2 agen menyebutkan bahwa Prisma memerlukan variabel DATABASE_URL bahkan ketika tidak terhubung ke database apa pun.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing