গবেষণা Aleph Alpha জার্মানির ঐক্য দিবসে, AI কোম্পানি Aleph Alpha এর Kolibri প্রকাশ করা হয়েছে, যা একটি নতুন ওপেন-ওজন Mixture-of-Experts Transformer মডেল যার 78B মোট প্যারামিটার এবং 3B সক্রিয় প্যারামিটার। মডেল 1M টোকেন পর্যন্ত সংদর্ভের দৈর্ঘ্য সমর্থন করে এবং Hugging Face এর মাধ্যমে Apache 2.0 লাইসেন্সের অধীনে প্রকাশ করা হয়। Kolibri কোম্পানির আগের Kolibri Origin মডেল থেকে একটি উল্লেখযোগ্য বিবর্তন উপস্থাপন করে, যা একটি 30B প্যারামিটার মডেল যার সংদর্ভ খিড়ায় 65k টোকেন। বিকাশ দল হার্ডওয়্যার ব্যর্থতার মধ্যে স্থিতিশীল প্রি-ট্রেনিং অর্জনের জন্য একটি শক্তিশালী প্রশিক্ষণ পাইপলাইন ব্যবহার করে সদ্দন অ্যাব্লেশন পরীক্ষা চালায়। Kolibri জার্মান ভাষা, যুক্তি, গণিত এবং এজেন্ট আচরণের জন্য বিশেষজ্ঞ, যা সরকারি প্রশাসন, শিল্প এবং বিমান ও অনুপ্রান্ত আকাশ যান বাহিনীর মতো নিয়ন্ত্রিত সেক্টরে স্বরাজ্য মিশন-গুরুত্বপূর্ণ কাজের লক্ষ্য করে। মডেল ক্ষমতা এবং স্থাপনা খরচের মধ্যে ব্যবস্থাপনা করে, যা গুণমানের বিপরীতে পরিসেবা খরচের জন্য পারেটো সীমানা নির্ধারণ করে ইংরেজি এবং জার্মানি উভয় ভাষায়। Aleph Alpha পূর্ণ সরবরাহ শ্রেণীর অখণ্ডতা এবং স্বচ্ছতা জোর দেয়, গ্রাহকদের স্থাপনা স্বাধীনতা এবং বৌদ্ধিক সম্পদ সুরক্ষা প্রদান করে যা একটি উত্তরাধিকার অনুপালন বৈশিষ্ট্য। মডেলের ছোট এবং দক্ষ আকার এটিকে কার্যকরভাবে প্রিমিসেসে চালাতে দেয়, অভ্যন্তরীণ ডেটা তৃতীয় পক্ষের অনুমান পরিষেবায় পাঠানোর প্রয়োজন থেকে মুক্তি দেয়। বিস্তারিত বেঞ্চমার্ক বিশ্লেষণের জন্য পূর্ণ টেক রিপোর্ট পড়ুন।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing