HeadlinesBriefing favicon HeadlinesBriefing.com

मिलियन एजेंट: वितरित सिस्टम समस्या

Hacker News •
×

मैं एजेंटों के बारे में उसी तरह सोचता हूं जैसे लोगों के बारे में। एक एजेंट एक कार्यकर्ता है। एक हजार एजेंट एक संगठन है, और मशीनों का एक संगठन एक वितरित सिस्टम है। लोग मुझसे कहते रहते हैं कि एजेंट हमेशा चल सकते हैं। तकनीकी रूप से यह सच है। आप एक मॉडल को लूप में तब तक कॉल कर सकते हैं जब तक आपका क्रेडिट कार्ड अस्वीकार न हो जाए। लेकिन एजेंट अभी भी सीमित चीजों पर चलता है: टोकन, संदर्भ, कंप्यूट, मेमोरी, उपकरण, पैसा। कुछ न कुछ हमेशा खत्म हो जाता है। मनुष्य बहुत अलग नहीं हैं। हम थोड़ी देर काम करते हैं और थक जाते हैं। हमारी कार्यशील स्मृति छोटी है। हम चीजें भूल जाते हैं। इसलिए हम महत्वपूर्ण हिस्से लिखते हैं, सोते हैं, और अगली सुबह साफ दिमाग और समान पहचान के साथ लौटते हैं। मशीनों पर भी यही बाधा है, बस अलग रूप में। एक बॉक्स का CPU खत्म हो जाता है। एक पॉड की मेमोरी खत्म हो जाती है। कोई भी यह मानकर इसे ठीक नहीं करता कि हर प्रोसेस हमेशा जीवित रहना चाहिए। हम अपने पास मौजूद संसाधनों पर काम शेड्यूल करते हैं। मुझे नहीं दिखता कि बुद्धि को छूट क्यों मिले। एक एजेंट थोड़ी देर काम कर सकता है, महत्वपूर्ण चीजें लिख सकता है, अपना संदर्भ साफ कर सकता है, और खुद या किसी अन्य एजेंट को वहां से आगे बढ़ने दे सकता है। हम Ins Forge में VPS पर अपने खुद के कोडिंग एजेंट चलाते हैं, और वे अक्सर मारे जाते हैं, पुनः शुरू होते हैं, और संदर्भ से बाहर हो जाते हैं। जो विफलताएं वास्तव में दर्द देती हैं वे वे हैं जहां योजना केवल एजेंट के संदर्भ विंडो के अंदर रहती थी।

एजेंट जोड़ने से Google Research के 180-कॉन्फ़िगरेशन अध्ययन में समानांतर काम में 80.9% तक सुधार हुआ और अनुक्रमिक काम में 39% से 70% तक नुकसान हुआ। कार्य का आकार तय करता है। उसी अध्ययन में एक ऑर्केस्ट्रेटर ने त्रुटि प्रवर्धन को 17.2× से घटाकर 4.4× कर दिया। समन्वय एक वास्तविक काम है। Silo-Bench (ACL 2026) में, 2 से 100 एजेंटों की टीमों ने बहुत बात की और खराब तर्क किया। सबसे कठिन कार्य 50 एजेंटों पर शून्य सफलता पर पहुंच गए। इसलिए स्थायी चीज राज्य होनी चाहिए, एजेंट नहीं। एजेंटों को प्रोसेस की तरह शेड्यूल करें और उन्हें नोड्स की तरह रिकवर करें।

एजेंट प्रोसेस की तरह दिखने लगे हैं। यह कुछ समय पहले एक सादृश्य नहीं रह गया। एक पूरी शोध श्रृंखला इसे बना रही है। AIOS, Rutgers से एक "LLM एजेंट ऑपरेटिंग सिस्टम", समस्या को एक वाक्य में खोलता है: "LLM या टूल संसाधनों तक अप्रतिबंधित पहुंच की अनुमति देना एजेंटों के लिए अक्षम या संभावित रूप से हानिकारक संसाधन आवंटन और उपयोग का कारण बन सकता है।" उनका उत्तर एक कर्नेल है। हर एजेंट अनुरोध को सिस्टम कॉल में तोड़ा जाता है, एक शेड्यूलर तय करता है कि अगली कॉल किसकी चलेगी, और एक संदर्भ प्रबंधक एजेंट को कार्य के बीच में स्नैपशॉट करता है ताकि उसे बाधित और फिर से शुरू किया जा सके। वे मौजूदा फ्रेमवर्क पर बने एजेंटों की सेवा करते समय 2.1× तक तेज निष्पादन की रिपोर्ट करते हैं। शेड्यूलिंग, संदर्भ स्विचिंग, मेमोरी प्रबंधन, स्टोरेज, एक्सेस नियंत्रण। यह एक ऑपरेटिंग सिस्टम है। प्रोसेस बस सोचते हैं।

यह एक स्तर ऊपर भी भुगतान करता है। LLM-as-Scheduler, ACL 2026 से, इस अवलोकन से शुरू होता है कि अधिकांश क्वेरी भारी मल्टी-एजेंट वर्कफ़्लो की हकदार नहीं हैं, और एक शेड्यूलर को प्रति क्वेरी वर्कफ़्लो चुनने देता है। उन्होंने 43% कम टोकन और 36% से अधिक कम एंड-टू-एंड विलंबता प्राप्त की, एक मजबूत निश्चित वर्कफ़्लो के खिलाफ सटीकता में अधिकतम 1.4 प्रतिशत अंक की गिरावट के साथ। तो एक एजेंट एक प्रोसेस की तरह दिखता है, और हजारों प्रोसेस को एक शेड्यूलर की आवश्यकता होती है। ठीक है। लेकिन कंप्यूट शेड्यूल करना केवल आधा है। आपको एजेंटों को एक-दूसरे के साथ समन्वयित भी करना होगा, और यहीं यह दिलचस्प हो जाता है। दस लोग समन्वय करते हैं। दस हजार प्रबंधकों का आविष्कार करते हैं। दस लोग एक कमरे में खुद को समन्वयित कर सकते हैं। एक हजार लोग सभी एक-दूसरे से बात नहीं कर सकते और स्वतंत्र रूप से तय नहीं कर सकते कि कंपनी को क्या करना चाहिए, इसलिए हमने टीमों, प्रबंधकों, विभागों और अंततः एक CEO का आविष्कार किया। प्रबंधक आंशिक रूप से मौजूद हैं क्योंकि समन्वय स्वयं काम है, और किसी को इसे करना होता है। मैंने मान लिया था कि एजेंटों को भी यही समस्या होगी। अब डेटा है। Google Research और MIT ने पांच आर्किटेक्चर और तीन मॉडल परिवारों में 180 एजेंट कॉन्फ़िगरेशन का नियंत्रित अध्ययन चलाया। उनकी शीर्षक: "'अधिक एजेंट' दृष्टिकोण अक्सर एक छत तक पहुंचता है, और यहां तक कि..."