HeadlinesBriefing favicon HeadlinesBriefing.com

Qwen 3.8 27B على Cerebras 1500 رمز/ثانية

Hacker News •
×

أصبح Qwen 3.8 27B متاحًا الآن على نقاط نهاية Cerebras العامة، مما يوفر إنتاجية 1500 رمزًا/ثانية. يمكن الوصول إلى هذه النقاط عبر مستويات التجربة المجانية والدفع حسب الاستخدام، مع مراعاة حدود المعدل والتسعير. للسعة المخصصة واتفاقيات مستوى الخدمة للإنتاج، تقدم Cerebras نقاط نهاية مخصصة.

جميع النماذج على نقاط نهاية Cerebras العامة هي إصدارات أصلية غير مقصوصة. لا تستضيف المنصة نماذج مقصوصة على واجهة برمجة التطبيقات المشتركة. بينما تبحث Cerebras في تقنيات القص مثل REAP (قص تنشيط الخبراء المرجح بالموجه)، تتم مشاركة هذه النماذج المقصوصة على Hugging Face للبحث ولكن لا يتم تقديمها عبر واجهة برمجة التطبيقات.

تستخدم Cerebras تكميمًا انتقائيًا للوزن فقط أثناء التخزين للحفاظ على الجودة. يتم تخزين الأوزان في تنسيقات جزئية 16 بت/8 بت/4 بت، مع إبقاء الطبقات الحساسة بدقة كاملة وإزالة التكميم أثناء الطيران. تبقى التنشيطات والانتباه وذاكرة KV بدقة كاملة وبدون تكميم.

تلتزم Cerebras بتقديم النماذج الأصلية دون تغييرات معمارية. ستُقدم تقنيات الضغط المستقبلية كنقاط نهاية منفصلة بأسماء محددة. نماذج REAP المقصوصة متاحة على Hugging Face للبحث، ولكن ليس في الإنتاج.

الكيانات الرئيسية: الشركات: Cerebras، Hugging Face