এই Hacker News পোস্টের লেখক, যিনি স্বীকার করেন যে মডেল তৈরিতে তাঁর অভিজ্ঞতা সীমিত, পাঠকদের প্রশ্নের উত্তর দিচ্ছেন যে কেন strands-decider-2B একটি BERT-এর মতো এনকোডারের বদলে সংশোধিত LLM হিসেবে তৈরি করা হয়েছে। ধারণাটি হলো, দ্বিমুখী এনকোডার, যেখানে প্রতিটি টোকেন আগের ও পরের টোকেন ব্যবহার করে উপস্থাপিত হয়, শুধু পেছনের দিকে তাকানো কার্যকারণ মডেলের চেয়ে ভালো হওয়া উচিত। লেখক স্বীকার করেন যে প্রকল্পটি মূলত একটি ডিকোডারকে এনকোডার হিসেবে ব্যবহার করছে, তাই প্রশ্নটি যুক্তিসঙ্গত।
এটি পরীক্ষা করতে পাঁচটি ডিজাইনের তুলনা করা হয়েছে: v19, Qwen3.5-ভিত্তিক চূড়ান্ত strands-decider; T5Gemma 2-ভিত্তিক দুটি এনকোডার-ডিকোডার মডেল, যাদের মোট প্যারামিটার যথাক্রমে 2B ও 8B; এবং T5Gemma থেকে উদ্ভূত দুটি শুধু-এনকোডার রূপ, যার একটি একাধিক প্রশ্ন সমান্তরালে মূল্যায়নের জন্য মাস্কড স্টেট ক্যাশ ব্যবহার করে। 8B এনকোডার-ডিকোডার মডেল নির্ভুলতা ও Brier স্কোরে v19-কে ছাড়িয়ে যায়, কিন্তু এটি প্রায় চারগুণ বড়, তাই তুলনাটি সমতুল্য নয়। আরও অর্থবহ তুলনা হলো v19 বনাম লেটেন্সি-অপটিমাইজড এনকোডার e1b, যা একটি বেঞ্চমার্ক নির্ভুলতা পরিমাপে v19-কে সামান্য ছাড়িয়ে যায়, তবে তা প্রতিবার চালানোর তারতম্যের মধ্যেই, এবং ক্যালিব্রেশনে সামান্য খারাপ করে।
লেটেন্সিতে শুধু-এনকোডার মডেলগুলো স্পষ্টভাবে এগিয়ে, যাদের মধ্যমা প্রায় 35ms, আর v19-এর 65ms। তবে প্রম্পট দীর্ঘ হলে এই সুবিধা কমে আসে। এনকোডার সব স্তরে পূর্ণ অ্যাটেনশন ব্যবহার করে, যার খরচ বর্গাকারে বাড়ে, অথচ v19-এর বেশিরভাগ স্তর রৈখিক খরচের Gated Delta Net ব্যবহার করে। এই স্তরগুলোর স্থির খরচ বেশি হলেও এগুলো ভালোভাবে স্কেল করে, ফলে লেটেন্সির নিম্নসীমা বেশি হয়। বেঞ্চমার্কের কাজ ছোট প্রম্পটের দিকে ঝোঁকে বলে বাস্তবে এনকোডার লাভবান হয়।
মাস্কবিহীন এনকোডার e1a নয়টির মধ্যে সাতটি কাজে v19-কে ছাড়িয়ে যায়, কিন্তু দুটি মূল বেঞ্চমার্কে খারাপ করে, যা ইঙ্গিত দেয় যে মাস্কিং ছাড়া প্রশ্নগুলোকে স্টেটে অ্যাটেনশন দিতে দিলে এটি দুর্বলতা হতে পারে। লেখক উপসংহারে বলেন, এনকোডার পদ্ধতি সম্ভাবনাময় হলেও সব দিক থেকে স্পষ্ট জয় নয়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing