यदि आप अपने AI एजेंट के लिए अत्याधुनिक लागत-कुशलता में रुचि रखते हैं, तो हम साथ काम करना पसंद करेंगे! संपर्क करें: [email protected]। वास्तविक दुनिया में एजेंट तैनात करते समय, हम चाहते थे कि वे तेज़ी से प्रतिक्रिया दें और लागत-प्रभावी हों। हमने देखा कि एजेंट टूल कॉल प्रबंधित करने में समय और टोकन खर्च करते हैं, इसलिए हमने Unreal Agent बनाया, जिसमें एक हार्नेस है जो टूल-प्रबंधन ओवरहेड को कम करता है। हार्नेस टूल कॉल को एसिंक्रोनस रूप से प्रबंधित करता है, जिससे मॉडल को प्रतीक्षा, पोल और हार्टबीट से मुक्ति मिलती है। यह उपयोगकर्ताओं को टूल कॉल की प्रतीक्षा किए बिना एजेंट को निर्देशित करने की अनुमति देता है, और मॉडल कॉल के बीच अधिक उपयोगी टूल कार्य शेड्यूल करता है। वर्तमान संस्करण वास्तविक वर्कलोड और बेंचमार्क में Codex की तुलना में 40% तक और Pi की तुलना में 20% तक लागत बचत प्राप्त करता है।

यदि आप एजेंट-प्रथम उत्पाद बनाते हैं, तो कोई गोल्डन पथ नहीं है। बड़े-ब्रांड SDK में समझौते होते हैं: Claude के Agent SDK जैसे CLI-उन्मुख SDK स्थानीय सत्र और सबप्रोसेस मानते हैं, जिसके लिए कस्टम लाइफसाइकल प्रबंधन आवश्यक है। अन्य प्रदाताओं का समर्थन करने से संगतता कार्य जुड़ता है। भारी निर्भरताएँ रखरखाव और सप्लाई-चेन जोखिम बढ़ाती हैं। हार्नेस हुक के माध्यम से सुरक्षा और अनुमोदन नियतात्मक सैंडबॉक्स बाधाओं की तुलना में कम मजबूत होते हैं। हम एक ऐसा हार्नेस भी चाहते थे जो बिना देरी के उपयोगकर्ता निर्देशन स्वीकार करे और अतिरिक्त संज्ञानात्मक भार के बिना विषम टूल कॉल संभाले। उदाहरण के लिए, कोड का पता लगाने और समानांतर में वेब खोजने के दौरान डेव एनवायरनमेंट सेटअप शुरू करना, बिना टोकन टैक्स के। प्रत्येक टूल कॉल "इन-प्रोग्रेस" स्थिति में एक इवेंट-लॉग रिकॉर्ड जोड़ता है, जो पृष्ठभूमि में जारी रहता है; समाप्त होने पर, हम परिणाम जोड़ते हैं और एक LLM को कॉल करते हैं। कैश को तोड़े बिना इसे काम करवाना एक इंजीनियरिंग चुनौती थी।

Unreal Agent कम मॉडल टर्न और इनपुट टोकन के साथ समान परिणाम प्राप्त करता है। लागत बचत न्यूनतम हार्नेस फुटप्रिंट, टोकन-अनुकूलित टूल परिणाम, कोई सब-एजेंट नहीं, और प्रति मॉडल टर्न अधिक टूल कार्य से आती है। एसिंक्रोनस टूल-कॉलिंग मॉडल प्रति टर्न अधिक भारी टूल कॉल की अनुमति देता है, बिना पोलिंग या प्रतीक्षा में टोकन बर्बाद किए। हमने Unreal Agent को वास्तविक उत्पादन वर्कफ़्लो के लिए बनाया है, और यह बेंचमार्क में भी अच्छा दिखता है।

मुख्य संस्थाएँ: कंपनियाँ: Unreal Labs, Codex, Pi, Claude