HeadlinesBriefing favicon HeadlinesBriefing.com

RLT: অসীম যুক্তি আর্কিটেকচার

Hacker News •
×

আবর্তী লুপড ট্রান্সফরমার (RLT) একটি কারণাল এনকোডার পরিচয় করায় যা একটি আবর্তী ডিকোডারের সাথে জোড়া করা হয়েছে যা প্রতিটি টোকেনে তার চূড়ান্ত লুকানো অবস্থা এবং লেয়ারওয়াইজ স্লাইডিং-উইন্ডো অটেনশন ক্যাশ সংরক্ষণ করে। এই আর্কিটেকচার লুকানো যুক্তিকে অসীম কালগত গভীরতার সাথে একত্রিত করে, মডেল-হার্ডওয়্যার এবং মডেল-RL অ্যালগরিদম সহ-ডিজাইন সক্ষম করে। একটি সমান্তরাল এনকোডার পরিচিত-টোকেন ব্যাচিং পরিচালনা করে যখন ডিকোডার ক্রম বৃদ্ধি পাওয়ার সাথে সাথে συνεχ লুকানো গণনা প্রসারিত করে। তিনটি মূল নীতিরূপ ডিজাইনকে নির্দেশ করে: ক্রম দৈর্ঘ্যের সাথে বৃদ্ধি পাওয়া যুক্তির গভীরতা, একটি আবর্তী কোরের চারদিকে সমান্তরাল হার্ডওয়্যার কাজ, এবং নমুনা গ্রহণ থেকে RL রিপ্লে-এ একক পরিবর্তন। সিস্টেম চেকপয়েন্টিং-এর সাথে ওজন এবং মেমরি পুনরায় ব্যবহার করে, সার্ভিং সীমার অবস্থা রিসেট ছাড়া রেফারেন্স গণনা বজায় রাখে। গাণিতিক সূত্রপাত লুকানো অবস্থাকে H_t = (s_t, C_t^D) হিসেবে সংজ্ঞায়িত করে, যেখানে আবর্তী আউটপুট এবং ডিকোডার KV विलয়ের মাধ্যমে অগ্রসর হয়। একটি স্লাইডিং-উইন্ডো অটেনশন 메কানিজম সাম্প্রতিক কী এবং মান ধরে রাখে, প্রম্পট এবং প্রতিক্রিয়া একটি সম্পূর্ণ অবস্থা পরিবর্তন ভাগ করে। কনফিগারেশন-এ ৪৮টি এনকোডার এবং ৪৮টি ডিকোডার লেয়ার থাকে যাতে শেয়ারড অটেনশন এবং FFN ওজন থাকে, যেখানে প্রতিটি টোকেন ৪৮t ডিকোডার ব্লক পেরিয়ে যায়। ডিজাইনটি অসীম গভীরতাকে প্রতি টোকেন অসীম গণনার পরিবর্তে একটি প্রসারিত কালগত পথ হিসেবে সমর্থন করে, যদিও বাস্তব যুক্তি লাভ এবং হার্ডওয়্যার দক্ষতা এখনও গবেষণাধীন।