Robert dan Din dari Laminar, perusahaan dari batch Y Combinator S24, telah merilis flow-1, model observabilitas open-source yang dilatih dengan reinforcement learning untuk menemukan galat dalam jejak agen AI. Pada benchmark perusahaan, flow-1 setara dengan GPT-6-sol dalam kualitas deteksi namun 23 kali lebih murah, sehingga menganalisis setiap jejak agen di lingkungan produksi menjadi terjangkau, alih-alih hanya mengambil sampel.
Tim berpendapat bahwa agen kini berjalan melalui banyak langkah dan sering gagal secara diam-diam. Sebuah agen dapat mengklik tombol yang salah atau mengutip dokumen yang keliru, sementara setiap pemanggilan tetap berhasil diselesaikan. Untuk menangkap galat ini, diperlukan pemahaman tentang apa yang ingin dicapai agen serta pemeriksaan terhadap pemanggilan LLM dan hasil alat yang digunakannya, bukan sekadar membaca keluaran akhir. Mengumpulkan jejak saja tidak menyelesaikan masalah, karena banyak platform pada dasarnya hanyalah pengumpul data yang menyimpan jejak yang tidak pernah dibaca siapa pun.
flow-1 berjalan di dalam kerangka kerja bernama Signals, yang berperilaku seperti agen pemrograman dengan memperlakukan jejak agen sebagai repositori, dan setiap span sebagai berkas. Ia melakukan pencarian grep di seluruh span, membaca span yang relevan secara utuh, lalu mengembalikan temuan dalam format JSON sesuai skema yang ditentukan pengguna. Peristiwa sinyal yang serupa dikelompokkan ke dalam klaster, yang dapat digunakan pengguna untuk membangun kumpulan data evaluasi guna memperbaiki kegagalan yang berulang.
Laminar dilisensikan di bawah Apache 2.0 dan dapat di-host sendiri, sementara perusahaan memperoleh pendapatan dari layanan cloud terkelolanya. Para pendiri menanyakan kepada komunitas bagaimana mereka melacak kinerja agen dan bagaimana mereka memastikan perbaikan tidak menimbulkan kegagalan baru.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing