أطلق Robert وDin من شركة Laminar، وهي شركة من دفعة Y Combinator S24، نموذج flow-1، وهو نموذج مراقبة مفتوح المصدر مدرَّب بالتعلم المعزز للعثور على الأخطاء في تتبعات وكلاء الذكاء الاصطناعي. وفي اختبار الأداء الذي أجرته الشركة، يضاهي flow-1 نموذج GPT-6-sol في جودة الكشف، ولكنه أرخص بـ 23 مرة، ما يجعل تحليل كل تتبع لوكيل في بيئة الإنتاج أمرًا ميسور التكلفة بدلًا من الاكتفاء بأخذ عينات منها.
يرى الفريق أن الوكلاء باتوا يعملون عبر خطوات كثيرة وغالبًا ما يفشلون بصمت. فقد ينقر الوكيل على الزر الخطأ أو يستشهد بالوثيقة الخاطئة، في حين تكتمل كل استدعاءاته بنجاح. ولرصد هذه الأخطاء يلزم فهم ما كان الوكيل يحاول تحقيقه، وفحص استدعاءات نماذج اللغة الكبيرة ونتائج الأدوات التي يستخدمها، لا مجرد قراءة المخرجات النهائية. ولا يكفي جمع التتبعات وحده لحل المشكلة، إذ إن كثيرًا من المنصات ليست سوى مجمّعات بيانات تخزّن تتبعات لا يقرأها أحد.
يعمل flow-1 داخل إطار عمل يُسمى Signals، يتصرف كوكيل برمجة يتعامل مع تتبع الوكيل بوصفه مستودعًا، حيث يُعامَل كل span كملف. يبحث في الـ spans باستخدام grep، ويقرأ المناسب منها كاملًا، ويعيد النتائج بصيغة JSON وفق مخططات يحددها المستخدم. وتُجمَّع أحداث الإشارات المتشابهة في عناقيد، يمكن للمستخدمين استخدامها لبناء مجموعات بيانات تقييم لإصلاح الأعطال المتكررة.
يخضع Laminar لترخيص Apache 2.0 ويمكن استضافته ذاتيًا، وتحقق الشركة إيراداتها من خدمتها السحابية المُدارة. وقد سأل المؤسسون المجتمع عن طريقة تتبعهم لأداء الوكلاء، وكيفية التحقق من أن الإصلاحات لا تُدخل أعطالًا جديدة.
المصدر: Hacker News · لخّصه HeadlinesBriefing