Kolibri, Aleph Alpha द्वारा विकसित एक खुले वजन वाला बड़ा भाषा मॉडल (LLM), जर्मन और अंग्रेज़ी के लिए: एक मिश्रित विशेषज्ञों के साथ 78 अरब पैरामीटर, जिसमें प्रत्येक टोकन पढ़ने या लिखने के लिए लगभग 35 अरब पैरामीटर का उपयोग किया जाता है। इसे 3 अक्टूबर 2026 को Apache 2.0 लाइसेंस के तहत जारी किया गया है, वजन Hugging Face पर हैं, और इसे जर्मनी और फिनलैंड के बुनियादी ढांचे से शून्य से प्रशिक्षित किया गया है। Aleph Alpha Kolibri को संप्रभु कहता है, जिसका अर्थ है कि इसे जर्मनी और फिनलैंड में यूरोपीय और जर्मन कानून के तहत प्रशिक्षित किया गया है बिना किसी विदेशी नियंत्रण के, और ग्राहकों को पूर्ण तैनाती की स्वतंत्रता और बौद्धिक संपदा सुरक्षा मिलती है। इस मॉडल में कुल 78.1 अरब पैरामीटर हैं, प्रति टोकन 3.46 अरब सक्रिय, मूल रूप से 262144 टोकन संदर्भ का समर्थन करता है, और लगभग 24 ट्रिलियन टोकन पर प्रशिक्षित किया गया है, जिसमें पांचवां हिस्सा से अधिक जर्मन है, 768 NVIDIA B200 GPU पर। Aleph Alpha के आकलन के अनुसार, यह जर्मन और अंग्रेज़ी दोनों के लिए तुलनीय मॉडल से ऊपर स्कोर करता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित