Qwen 3.8 २7B अब Cerebras सार्वजनिक एंडपॉइंट पर उपलब्ध है, जो १५०० टोकन/सेकंड थ्रूपुट प्रदान करता है। ये एंडपॉइंट नि:शुल्क परीक्षण और भुगतान-प्रति-उपयोग स्तरों के माध्यम से सुलभ हैं, दर सीमाओं और मूल्य निर्धारण के अधीन। समर्पित क्षमता और उत्पादन SLA के लिए, Cerebras समर्पित एंडपॉइंट प्रदान करता है।

Cerebras सार्वजनिक एंडपॉइंट पर सभी मॉडल मूल, बिना प्रून किए गए संस्करण हैं। प्लेटफ़ॉर्म अपने साझा API पर प्रून किए गए मॉडल होस्ट नहीं करता है। जबकि Cerebras प्रूनिंग तकनीकों जैसे REAP (राउटर-भारित विशेषज्ञ सक्रियण प्रूनिंग) पर शोध करता है, ये प्रून किए गए मॉडल अनुसंधान के लिए Hugging Face पर साझा किए जाते हैं लेकिन API के माध्यम से सेवा नहीं दी जाती।

Cerebras गुणवत्ता बनाए रखने के लिए भंडारण के दौरान चयनात्मक वजन-केवल क्वांटीकरण का उपयोग करता है। वजन आंशिक 16-बिट/8-बिट/4-बिट प्रारूपों में संग्रहीत होते हैं, संवेदनशील परतें पूर्ण परिशुद्धता पर रखी जाती हैं और मौके पर डीक्वांटीकृत होती हैं। सक्रियण, ध्यान, और KV कैश पूर्ण परिशुद्धता और अक्वांटीकृत रहते हैं।

Cerebras बिना वास्तुशिल्प परिवर्तनों के मूल मॉडल की सेवा करने के लिए प्रतिबद्ध है। भविष्य की संपीड़न तकनीकों को विशिष्ट नामों के साथ अलग एंडपॉइंट के रूप में पेश किया जाएगा। REAP प्रून किए गए मॉडल अनुसंधान के लिए Hugging Face पर उपलब्ध हैं, लेकिन उत्पादन में नहीं।

प्रमुख संस्थाएँ: कंपनियाँ: Cerebras, Hugging Face