بحث Aleph Alpha في يوم وحدة ألمانيا، شركة الذكاء الاصطناعي Aleph Alpha أطلقت Kolibri، نموذج ترانسفورمر مفتوح الوزن جديد مبني على مزيج الخبراء بمعلمات إجمالية تبلغ 78B ومعلمات نشطة تبلغ 3B. يدعم النموذج طول سياق يصل إلى 1M رمز ويتم إصداره بموجب رخصة Apache 2.0 عبر Hugging Face. يمثل Kolibri تطورًا كبيرًا من نموذج Kolibri Origin السابق للشركة، وهو نموذج بمعلمات 30B ونافذة سياق تبلغ 65k رمزًا. استخدم فريق التطوير خط معالجة تدريب قوي لتشغيل مئات التجارب الاستبدالية وتحقيق تدريب أولي ثابت على الرغم من فشل العتاد. يتخصص Kolibri في اللغة الألمانية، والاستنتاج، والرياضيات، والسلوك العقدي، موجه للعمل الحاسم السيادي في قطاعات منظمة مثل الإدارة العامة، والصناعات، والفضاء. يحسن النموذج التوازن بين القدرة والتكاليف النشر، موقع نفسه على الحدود باريتو للجودة مقابل تكلفة الخدمة في كل من الإنجليزية والألمانية. تؤكد Aleph Alpha على سلامة وشفافية سلسلة التوريد الكاملة، وتقدم للعملاء حرية النشر وأمان الملكية الفكرية كخصائص امتثال موروثة. يتيح للنموذج بفضل حجمه الصغير والكفاءة العالية له أن يعمل بشكل فعال على الصعيد المحلي، تجنب الحاجة إلى إرسال بيانات داخلية إلى خدمات استنتاج الطرف الثالث. اقرأ التقرير التقني الكامل لتحليل بنقاط المرجع المفصلة.
المصدر: Hacker News · لخّصه HeadlinesBriefing