HeadlinesBriefing favicon HeadlinesBriefing.com

মিলিয়ন এজেন্ট: ডিস্ট্রিবিউটেড সিস্টেম সমস্যা

Hacker News •
×

আমি এজেন্টদের সম্পর্কে যেভাবে ভাবি, মানুষ সম্পর্কে সেভাবে ভাবি। একটি এজেন্ট একজন কর্মী। হাজার এজেন্ট একটি সংগঠন, এবং মেশিনের একটি সংগঠন একটি ডিস্ট্রিবিউটেড সিস্টেম। লোকেরা আমাকে বলতে থাকে যে এজেন্টরা চিরকাল চলতে পারে। প্রযুক্তিগতভাবে এটি সত্য। আপনি একটি মডেলকে লুপে কল করতে পারেন যতক্ষণ না আপনার ক্রেডিট কার্ড প্রত্যাখ্যান হয়। কিন্তু এজেন্ট এখনও সীমিত জিনিসের উপর চলে: টোকেন, প্রসঙ্গ, কম্পিউট, মেমরি, সরঞ্জাম, অর্থ। কিছু না কিছু সবসময় শেষ হয়ে যায়। মানুষ খুব আলাদা নয়। আমরা কিছুক্ষণ কাজ করি এবং ক্লান্ত হয়ে পড়ি। আমাদের কর্মক্ষম স্মৃতি ছোট। আমরা জিনিস ভুলে যাই। তাই আমরা গুরুত্বপূর্ণ অংশগুলো লিখে রাখি, ঘুমাই, এবং পরের সকালে পরিষ্কার মাথা এবং একই পরিচয় নিয়ে ফিরে আসি। মেশিনের একই সীমাবদ্ধতা আছে, ভিন্ন আকারে। একটি বক্সের CPU শেষ হয়ে যায়। একটি পডের মেমরি শেষ হয়ে যায়। কেউ এই ধারণা করে এটি ঠিক করে না যে প্রতিটি প্রসেস চিরকাল বেঁচে থাকা উচিত। আমরা আমাদের কাছে থাকা সম্পদের উপর কাজ শিডিউল করি। আমি দেখি না কেন বুদ্ধিমত্তা ছাড় পাবে। একটি এজেন্ট কিছুক্ষণ কাজ করতে পারে, গুরুত্বপূর্ণ জিনিস লিখতে পারে, তার প্রসঙ্গ পরিষ্কার করতে পারে, এবং নিজেকে বা অন্য এজেন্টকে সেখান থেকে চালিয়ে যেতে দিতে পারে। আমরা Ins Forge-এ VPS-এ আমাদের নিজস্ব কোডিং এজেন্ট চালাই, এবং তারা প্রায়ই মারা যায়, পুনরায় চালু হয় এবং প্রসঙ্গ শেষ হয়ে যায়। যে ব্যর্থতাগুলি সত্যিই কষ্ট দেয় সেগুলি হল যেখানে পরিকল্পনাটি কেবল এজেন্টের প্রসঙ্গ উইন্ডোর ভিতরে বাস করত।

এজেন্ট যোগ করা Google Research-এর 180-কনফিগারেশন গবেষণায় সমান্তরাল কাজে 80.9% পর্যন্ত উন্নতি করেছে এবং ক্রমিক কাজে 39% থেকে 70% পর্যন্ত ক্ষতি করেছে। কাজের আকৃতি সিদ্ধান্ত নেয়। একই গবেষণায় একটি অর্কেস্ট্রেটর ত্রুটি পরিবর্ধন 17.2× থেকে 4.4× এ কমিয়েছে। সমন্বয় একটি বাস্তব কাজ। Silo-Bench (ACL 2026)-এ, 2 থেকে 100 এজেন্টের দল অনেক কথা বলেছে এবং খারাপ যুক্তি করেছে। সবচেয়ে কঠিন কাজ 50 এজেন্টে শূন্য সাফল্যে পৌঁছেছে। তাই স্থায়ী জিনিসটি অবস্থা হওয়া উচিত, এজেন্ট নয়। এজেন্টদের প্রসেসের মতো শিডিউল করুন এবং নোডের মতো পুনরুদ্ধার করুন।

এজেন্টরা প্রসেসের মতো দেখতে শুরু করেছে। এটি কিছু আগে একটি উপমা হওয়া বন্ধ করেছে। একটি সম্পূর্ণ গবেষণা লাইন এটি তৈরি করছে। AIOS, Rutgers-এর একটি "LLM এজেন্ট অপারেটিং সিস্টেম", সমস্যাটি এক বাক্যে খোলে: "LLM বা টুল সম্পদে সীমাহীন অ্যাক্সেসের অনুমতি দেওয়া এজেন্টদের জন্য অদক্ষ বা সম্ভাব্য ক্ষতিকারক সম্পদ বরাদ্দ এবং ব্যবহারের দিকে নিয়ে যেতে পারে।" তাদের উত্তর একটি কার্নেল। প্রতিটি এজেন্ট অনুরোধ সিস্টেম কলগুলিতে ভাঙা হয়, একটি শিডিউলার সিদ্ধান্ত নেয় পরবর্তী কার কল চলবে, এবং একটি প্রসঙ্গ ব্যবস্থাপক এজেন্টকে কাজের মাঝে স্ন্যাপশট করে যাতে এটি বাধাগ্রস্ত এবং পুনরায় শুরু করা যায়। তারা বিদ্যমান ফ্রেমওয়ার্কের উপর নির্মিত এজেন্টদের সেবা করার সময় 2.1× পর্যন্ত দ্রুত সম্পাদনের রিপোর্ট করে। শিডিউলিং, প্রসঙ্গ সুইচিং, মেমরি ব্যবস্থাপনা, স্টোরেজ, অ্যাক্সেস নিয়ন্ত্রণ। এটি একটি অপারেটিং সিস্টেম। প্রসেসগুলি কেবল চিন্তা করে।

এটি এক স্তর উপরে লাভ দেয়। LLM-as-Scheduler, ACL 2026 থেকে, এই পর্যবেক্ষণ থেকে শুরু করে যে বেশিরভাগ কোয়েরি ভারী মাল্টি-এজেন্ট ওয়ার্কফ্লো পাওয়ার যোগ্য নয়, এবং একটি শিডিউলারকে প্রতি কোয়েরি ওয়ার্কফ্লো বেছে নিতে দেয়। তারা 43% কম টোকেন এবং 36% এর বেশি কম এন্ড-টু-এন্ড লেটেন্সি পেয়েছে, একটি শক্তিশালী স্থির ওয়ার্কফ্লোর বিরুদ্ধে নির্ভুলতায় সর্বাধিক 1.4 শতাংশ পয়েন্ট পতনের সাথে। তাই একটি এজেন্ট একটি প্রসেসের মতো দেখায়, এবং হাজার হাজার প্রসেসের একটি শিডিউলার প্রয়োজন। ঠিক আছে। কিন্তু কম্পিউট শিডিউল করা কেবল অর্ধেক। আপনাকে এজেন্টদের একে অপরের সাথে সমন্বয়ও করতে হবে, এবং সেখানেই এটি আকর্ষণীয় হয়ে ওঠে। দশজন মানুষ সমন্বয় করে। দশ হাজার ম্যানেজার উদ্ভাবন করে। দশজন মানুষ একটি ঘরে নিজেদের সমন্বয় করতে পারে। হাজার মানুষ সবাই একে অপরের সাথে কথা বলতে পারে না এবং স্বাধীনভাবে সিদ্ধান্ত নিতে পারে না যে কোম্পানির কী করা উচিত, তাই আমরা দল, ম্যানেজার, বিভাগ এবং অবশেষে একজন CEO উদ্ভাবন করেছি। ম্যানেজাররা আংশিকভাবে বিদ্যমান কারণ সমন্বয় নিজেই একটি কাজ, এবং কাউকে এটি করতে হবে। আমি ধরে নিয়েছিলাম এজেন্টদের একই সমস্যা হবে। এখন ডেটা আছে। Google Research এবং MIT পাঁচটি আর্কিটেকচার এবং তিনটি মডেল পরিবারে 180 এজেন্ট কনফিগারেশনের একটি নিয়ন্ত্রিত গবেষণা চালিয়েছে। তাদের শিরোনাম: "'আরও এজেন্ট' পদ্ধতি প্রায়শই একটি সিলিংয়ে পৌঁছায়, এবং এমনকি..."