अनुसंधान Aleph Alpha जर्मनी के एकीकरण दिवस पर, AI कंपनी Aleph Alpha ने Kolibri जारी किया, एक नई ओपन-वेट Mixture-of-Experts Transformer मॉडल जिसमें 78B कुल पैरामीटर और 3B सक्रिय पैरामीटर हैं। यह मॉडल 1M टोकन तक की संदर्भ लंबाई का समर्थन करता है और Hugging Face के माध्यम से Apache 2.0 लाइसेंस के तहत जारी किया गया है। Kolibri कंपनी के पहले से ही Kolibri Origin मॉडल के विकास से एक महत्वपूर्ण विकृति का प्रतिनिधित्व करता है, जो एक 30B पैरामीटर मॉडल है जिसकी संदर्भ खिड़ाई 65k टोकन है। विकास टीम ने हार्डवेयर की विफलता के बावजूद स्थिर प्री-ट्रेनिंग प्राप्त करने के लिए सैकड़ों एब्लेशन प्रयोग चलाने के लिए एक मजबूत प्रशिक्षण पाइपलाइन का उपयोग किया। Kolibri जर्मन भाषा, तर्कशक्ति, गणित और एजेंट व्यवहार के लिए विशेषज्ञ है, जो सार्वजनिक प्रशालन, औद्योगिक और विमानन एवं अंतरिक्ष क्षेत्रों जैसे नियमित क्षेत्रों में स्वराज्य मिशन-क्रिटिकल कार्य को लक्षित करता है। यह मॉडल क्षमता और परिनिर्देशन लागत के बीच के व्यापार को अनुकूलित करता है, जो गुणवत्ता के विपरीत सेवा लागत के लिए पेयरो फ्रंटियर पर स्थित है, भारत और जर्मनी दोनों में। Aleph Alpha पूरी आपूर्ति श्रृंखला की पूर्णता और पारदर्शिता पर जोर देता है, ग्राहकों को परिनिर्देशन की आज़ादी और बौद्धिक संपदा सुरक्षा प्रदान करता है जो एक विरासती अनुपालन गुण है। मॉडल का छोटा और दक्ष आकार इसे प्रभावी ढंग से ऑन-प्रिमाइस चलाने की अनुमति देता है, जिससे आंतरिक डेटा को तीसरे पक्ष के अनुमान सेवाओं को भेजने की आवश्यकता नहीं होती है। विस्तृत बेंचमार्क विश्लेषण के लिए पूरा तकनीकी रिपोर्ट पढ़ें।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित