研究 Aleph Alpha03/10/2026 ドイツ統一記念日に、私たちは新しいモデルである Kolibri をリリースします。Kolibriは英語-ドイツ語 Mixture-of-Experts Transformerで、総パラメータ 780億、アクティブ 30億です。最大 100万 トークンまでのコンテキスト長をサポートしています。このモデルは Hugging Face で完全な重みとともにダウンロードでき、Apache 2.0 ライセンスの条件で使用できます。
Kolibriは私たちのモデルトレーニング Efforts の継続的なイテレーションの結果です。まず、モデルトレーニングパイプラインを構築し、Kolibri Origin と呼ばれる総パラメータ 30億、アクティブ 30億 のモデルを構築して検証しました。このモデルは、より短い 6.5万 トークンのコンテキストウィンドウを持ちました。Kolibriは同じパイプラインを経て走りました：データのインジェストとカレーションから、ablation 実験、プリトレーニング、ポストトレーニング、そして最終評価まで。
我々は、それらが特定分野に特有の言語、規制、および手順的現実を考慮して広範な分野でのパフォーマンス向上のために最適化しました。その小さく効率的なサイズは、私たちの顧客が内部データを第三者の推論サービスに送信することなく、オンプレミスで効率的に実行するための柔軟性を提供します。
主要エンティティ：企業：Aleph Alpha
FAQ：Kolibriの主要な仕様は何ですか？
Kolibriは英語-ドイツ語 Mixture-of-Experts Transformerで、総パラメータ780億、アクティブ30億、最大100万トークンまでのコンテキスト長をサポートしています。Apache 2.0 ライセンスの下、Hugging Faceから完全な重みでダウンロードできます。
出典: Hacker News · 要約：HeadlinesBriefing