প্রযোগকৃত AI এজেন্টরা অধিকাংশক্ষেত্রে তর্কের ত্রুটির পরিবর্তে খারাপ কন্টেক্স্ট ব্যবস্থাপনার কারণে ব্যর্থ হয়। তারা বর্ধমান কথোপকथন ইতিহাস, বড় প্রম্পট এবং টুল আউটপুটের মধ্যে ডুবে থাকে এবং বর্ধমান টোকেন খরচের মুখোমুখি হয়। বর্তমান প্রোগ্রামগুলো একটি সংরক্ষণ এবং পুনরায় প্রাপ্তি সমস্যা হিসেবে বিবৃত করে, কিন্তু আমরা যুক্তি করি যে এটি একটি জীবনচক্র চ্যালেঞ্জ। আমরা এজেন্টিক কন্টেক্স্ট ম্যানেজমেন্ট (ACM) প্রবর্তন করি যা কি সংরক্ষণ করতে হবে, প্রাসঙ্গিকতা আহরণ, উপযুক্ত স্টোরেজ নির্বাচন এবং ফিডেলিটি বজায় রেখে কন্টেক্স্ট সংকুলন নিয়ে একটি অনুশাসন। ACM পাঁচ মূল উপাদানে বিভক্ত: আর্কিটেকচারিং, ইনজেস্টিং, স্কোপিং, অ্যান্টিসিপেটিং এবং কম্প্যাক্টিং এবং কনсолিডেশন। অর্থনৈতিক দিক থেকে, নাইভ একুমুলেশন খরচ চতুর্ভুজ হারে বাড়ে, ক্রুড সারাংশ সরল খরচ লাভ করে তবে নির্ভুলতা ক্ষতি করে, অন্যদিকে যুক্তিসঙ্গত সংক্ষেপ ফিডেলিটি বজায় রেখে সরল খরচ প্রদান করে। আমার রেফারেন্স বাস্তবায়ন, ম্যাক্সিমেম সিনাপ, এই মূল উপাদানগুলো একটি বহু-টেনেন্ট পরিষেবা হিসেবে বাস্তবায়ন করে, লং মেম ইভ্যালে 92% এবং লো কো মোতে 93.2% অর্জন করে। আমরা সংগঠনাত্মক স্তরের হারার্কি সম্বোধন করি এবং ল্যাটেন্সি, টোকেন দক্ষতা এবং কন্টেক্স্ট রোটেশন প্রতিরোধ সহ নতুন বেঞ্চমার্ক মাত্রাগুলো প্রস্তাব করি।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing