Y Combinator S24 कंपनी Laminar के Robert और Din ने flow-1 जारी किया है, जो एक ओपन-सोर्स ऑब्ज़र्वेबिलिटी मॉडल है और reinforcement learning से प्रशिक्षित है ताकि AI एजेंट ट्रेस में त्रुटियाँ खोजी जा सकें। कंपनी के बेंचमार्क पर flow-1 की पहचान गुणवत्ता GPT-6-sol के बराबर है, फिर भी यह 23 गुना सस्ता है, जिससे उत्पादन के हर एजेंट ट्रेस का विश्लेषण करना सस्ता हो जाता है, न कि केवल नमूने लेना।
टीम का तर्क है कि एजेंट अब कई चरणों में चलते हैं और अक्सर चुपचाप विफल हो जाते हैं। कोई एजेंट गलत बटन दबा सकता है या गलत दस्तावेज़ का हवाला दे सकता है, जबकि हर कॉल सफलतापूर्वक पूरी हो जाती है। इन त्रुटियों को पकड़ने के लिए यह समझना ज़रूरी है कि एजेंट क्या करने की कोशिश कर रहा था, और उसकी LLM कॉल्स व टूल परिणामों की जाँच करनी होगी, न कि केवल अंतिम आउटपुट पढ़ना। केवल ट्रेस इकट्ठा करना समस्या हल नहीं करता, क्योंकि कई प्लेटफ़ॉर्म मूलतः डेटा संग्राहक हैं जो ऐसे ट्रेस संग्रहीत करते हैं जिन्हें कोई नहीं पढ़ता।
flow-1 Signals नामक हार्नेस के भीतर चलता है, जो एक कोडिंग एजेंट की तरह काम करता है और एजेंट ट्रेस को एक रिपॉज़िटरी मानता है, जिसमें हर span एक फ़ाइल है। यह spans में grep करता है, प्रासंगिक spans को पूरा पढ़ता है, और उपयोगकर्ता-परिभाषित स्कीमा में निष्कर्ष JSON के रूप में लौटाता है। समान सिग्नल इवेंट्स क्लस्टर में समूहित होते हैं, जिनका उपयोग उपयोगकर्ता बार-बार होने वाली विफलताओं को ठीक करने के लिए मूल्यांकन डेटासेट बनाने में कर सकते हैं।
Laminar Apache 2.0 लाइसेंस के तहत है और इसे स्वयं होस्ट किया जा सकता है, जबकि कंपनी अपने मैनेज्ड क्लाउड से राजस्व कमाती है। संस्थापकों ने समुदाय से पूछा कि वे एजेंट के प्रदर्शन को कैसे ट्रैक करते हैं और कैसे सत्यापित करते हैं कि सुधार नई विफलताएँ पैदा नहीं करते।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित