গবেষণা Aleph Alpha03/10/2026 জার্মানি পুনর্যুক্তির দিনে, আমরা আমাার নতুন মডেলটি রিলিজ করছি: Kolibri। Kolibri একটি ইংরেজি-জার্মান মিক্সচার-অফ-এক্সপার্ট ট্রান্সফর্মার যা মোট 78B প্যারামিটার, 3B সক্রিয়। এটি 1M টোকেন পর্যন্ত কন্টেক্সট লেন্থ সমর্থন করে। এই মডেলটি Hugging Face-এ সম্পূর্ণ ওজনের সাথে ডাউনলোড করা যায় এবং Apache 2.0 লাইসেন্স শর্তে ব্যবহার করা যায়।
Kolibri হল আমাদের মডেল প্রশিক্ষণ প্রচেষ্টার ধারাবাহিক পুনরাবৃত্তির ফলাফল। আমরা প্রথমে একটি মডেল প্রশিক্ষণ পাইপলাইন নির্মাণ করেছি এবং এটি বৈধ করার জন্য Kolibri Origin গঠন করেছি, একটি মোট 30B প্যারামিটার, 3B সক্রিয় মডেল যা একটি অনেক সংক্ষিপ্ত 65k টোকেন কন্টেক্সুয়াল উইন্ডো সহ। Kolibri একই পাইপলাইন পার করেছে: ডেটা ইনগেশন এবং ক্যুরেশন থেকে শুরু করে এবং ablation, pre-training, এবং post-training পর্যন্ত, এবং চূড়ান্ত ইভ্যালেরেশনまで।
আমরা এটিকে তাদের বিশেষ ডোমেইন-স্পেসিফিক ভাষা, নিয়ামক-সম্পর্কীয় এবং প্রক্রিয়াগত রিয়েলিটি বিবেচনা করে বিভিন্ন ক্ষেত্রের জন্য পারফরম্যান্সের জন্য অপটিমাইজ করেছি। এর ছোট এবং কার্যকর আকার আমাদের গ্রাহকদের জন্য একটি সম্প্রধান বৈচিত্র্য প্রদান করে যাতে তারা স্থানীয়ভাবে কার্যকরভাবে চালাতে পারে, তৃতীয়-পক্ষ ইনফারেন্স সেবায় অভ্যন্তরীণ ডেটা পাঠানো ছাড়া।
কী এন্টিটি: কম্পানিগুলি: Aleph Alpha
প্রশ্নোত্তর বিভাগ: Kolibri-এর মূল নির্ধারণ কি হল?
Kolibri একটি ইংরেজি-জার্মান মিক্সচার-অফ-এক্সপার্ট ট্রান্সফর্মার যা মোট 78B প্যারামিটার এবং 3B সক্রিয় প্যারামিটার রয়েছে, 1M টোকেন পর্যন্ত কন্টেক্সট লেন্থ সমর্থন করে। এটি Apache 2.0 লাইসেন্সের তামে Hugging Face থেকে সম্পূর্ণ ওজনের সাথে ডাউনলোড করা যায়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing