Исследование Aleph Alpha В День объединения Германии, ИИ-компания Aleph Alpha выпустила Kolibri — новую модель открытого веса на основе смешанных экспертов Transformer с 78 миллиардами параметров в сумме и 3 миллиардами активных параметров. Модель поддерживает длину контекста до 1 миллиона токенов и выпущена под лицензией Apache 2.0 через Hugging Face. Kolibri представляет собой значительное развитие по сравнению с более ранней моделью компании Kolibri Origin — модель с 30 миллиардами параметров и окном контекста 65 тысяч токенов. Команда разработки использовала мощный конвейер обучения для проведения сотен экспериментов по отжигу и достижения стабильного предобучения несмотря на сбои оборудования. Kolibri специализируется на немецком языке, логике, математике и агентном поведении, ориентируясь на суверенную критически важную работу в регулируемых секторах, таких как государственное управление, промышленность и космонавтика. Модель оптимизирует компромисс между мощностью и затратами на развертывание, позиционируя себя на границе Парето по качеству по сравнению с затратами на обслуживание как на английском, так и на немецком языке.
Aleph Alpha подчеркивает полную целостность и прозрачность цепочки поставок, предлагая клиентам свободу развертывания и защиту интеллектуальной собственности как унаследованные свойства соответствия. Малый и эффективный размер модели позволяет ей эффективно работать на месте, избегая необходимости отправки внутренних данных в сервисы вывода третьих сторон. Прочтите полный технический отчет для подробного анализа эталонов.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing