रिसर्च Aleph Alpha03/10/2026 जर्मन रियूनिफिकेशन दिवस पर, हमें अपने नए मॉडल के साथ जारी करने का समय है: Kolibri। Kolibri एक अंग्रेज़ी-जर्मन मिक्स्चर-ऑफ़-एक्सपर्ट ट्रांसफॉर्मर है जिसमें 78B कुल पैरामीटर हैं, 3B सक्रिय। यह 100% तक की 1M टोकन के संदर्भ लंबाई का समर्थन करता है। यह मॉडल Hugging Face पर पूरे वज़न के साथ डाउनलोड किया जा सकता है और Apache 2.0 लाइसेंस शर्तों के तहत उपयोग में लाया जा सकता है।
Kolibri हमारे मॉडल प्रशिक्षण प्रयास के निरंतर इटरेशन का परिणाम है। हमने पहले मॉडल प्रशिक्षण पाइपलाइन बनाई और इसे Kolibri Origin बनाकर वैलिडेट किया, एक 30B कुल, 3B सक्रिय मॉडल जो एक much छोटे 65k टोकन के संदर्भ विंडो के साथ था। Kolibri ने वही पाइपलाइन पार किया: डेटा इनजेस्ट और क्यूरेशन से लेकर एब्लेशन्स, प्री-ट्रेनिंग और पोस्ट-ट्रेनिंग, और अंतिम एवाल्स तक।
हम ने इसे एक विभिन्न क्षेत्रों में प्रदर्शन के लिए ऑप्टिमाइज़ किया, उनकी विशिष्ट डोमेन-स्पेसिफिक भाषा, नियामक और प्रोसीजरल रियलिटी के ध्यान को ध्यान देते हुए। इसका छोटा और दक्ष डाउन साइज़ हमारे ग्राहकों को लोकले एक्सिग्यूट करने के लिए लचीलापन देता है, बिना अंदरूनी डेटा को तीसरे-पक्ष इन्फरेंस सर्विसेज़ में भेजे।
की एंटिटीज़: कंपनियाँ: Aleph Alpha
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित