Исследование Aleph Alpha03/10/2026 В День объединения Германии, мы выпускаем нашу новую модель: Kolibri. Kolibri — это трансформер смешанного эксперта (Mixture-of-Experts Transformer) английский-немецкий с 78B общим количеством параметров, 3B активных. Он поддерживает длины контекста до 1M токенов. Модель может быть загружена с полными весами на Hugging Face и используется в соответствии с условиями лицензии Apache 2.0.
Kolibri является результатом непрерывной итерации наших усилий по обучению моделей. Мы впервые создали конвейер обучения моделей и проверили его, построив Kolibri Origin, модель с 30B общим количеством параметров, 3B активных с гораздо более коротким окном контекста в 65k токенов. Kolibri прошел через тот же конвейер: от захвата и курирования данных, через абляции, предобучение и постобучение, до финальных оценок.
Мы оптимизировали Kolibri для производительности на широком диапазоне отраслей, учитывая их особененный язык, регуляторные и процедурные реалии. Его малый и эффективный размер обеспечивает нашим клиентам гибкость для эффективного запуска на месте, без отправки внутренних данных в сторонние службы инференса.
Ключевые сущности: Компании: Aleph Alpha
Часто задаваемые вопросы: Каковы ключевые характеристики Kolibri?
Kolibri — это трансформер смешанного эксперта английский-немецкий с 78B общим количеством параметров и 3B активных, поддерживающий длины контекста до 1M токенов. Его можно загрузить с полными весами с Hugging Face в рамках лицензии Apache 2.0.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing