Qwen 3.8 27B এখন Cerebras পাবলিক এন্ডপয়েন্টে উপলব্ধ, যা 1500 টোকেন/সেকেন্ড থ্রুপুট প্রদান করে। এই এন্ডপয়েন্টগুলি ফ্রি ট্রায়াল এবং পে-অ্যাস-ইউ-গো টিয়ারের মাধ্যমে অ্যাক্সেসযোগ্য, হার সীমা এবং মূল্য নির্ধারণের সাপেক্ষে। ডেডিকেটেড ক্ষমতা এবং প্রোডাকশন SLA-র জন্য, Cerebras ডেডিকেটেড এন্ডপয়েন্ট অফার করে।

Cerebras পাবলিক এন্ডপয়েন্টের সমস্ত মডেল মূল, অপ্রুনড সংস্করণ। প্ল্যাটফর্মটি তার শেয়ার্ড API-তে প্রুনড মডেল হোস্ট করে না। যদিও Cerebras REAP (রাউটার-ওয়েটেড এক্সপার্ট অ্যাক্টিভেশন প্রুনিং) এর মতো প্রুনিং কৌশল নিয়ে গবেষণা করে, এই প্রুনড মডেলগুলি গবেষণার জন্য Hugging Face-এ শেয়ার করা হয় কিন্তু API-র মাধ্যমে পরিবেশন করা হয় না।

Cerebras গুণমান সংরক্ষণের জন্য স্টোরেজের সময় নির্বাচনী ওজন-কেবল কোয়ান্টাইজেশন ব্যবহার করে। ওজনগুলি আংশিক 16-বিট/8-বিট/4-বিট ফরম্যাটে সংরক্ষণ করা হয়, সংবেদনশীল স্তরগুলি সম্পূর্ণ নির্ভুলতায় রাখা হয় এবং চলন্ত অবস্থায় ডিকোয়ান্টাইজ করা হয়। অ্যাক্টিভেশন, অ্যাটেনশন এবং KV ক্যাশ সম্পূর্ণ নির্ভুলতায় এবং অকোয়ান্টাইজড থাকে।

Cerebras স্থাপত্য পরিবর্তন ছাড়াই মূল মডেল পরিবেশন করতে প্রতিশ্রুতিবদ্ধ। ভবিষ্যতের কম্প্রেশন কৌশলগুলি নির্দিষ্ট নাম সহ পৃথক এন্ডপয়েন্ট হিসাবে অফার করা হবে। REAP প্রুনড মডেলগুলি গবেষণার জন্য Hugging Face-এ উপলব্ধ, তবে উৎপাদনে নয়।

মূল সত্তা: কোম্পানি: Cerebras, Hugging Face