研究 Aleph Alpha ドイツの再統一記念日に、AI企業Aleph Alphaは、合計78Bパラメータと3Bアクティブパラメータを持つ新しいオープンウェイトMixture-of-Experts TransformerモデルであるKolibriをリリースしました。このモデルは最大1Mトークンのコンテキスト長をサポートし、Hugging Faceを通じてApache 2.0ライセンスの下にリリースされています。Kolibriは、会社の以前のKolibri Originモデル、すなわち30Bパラメータモデルで65kトークンのコンテキストウィンドウを備えたモデルからの significantな進化を表しています。開発チームは、数百回のアブレーション実験を実行し、ハードウェアの障害にもかかわらず安定した事前トレーニングを達成するために、堅牢なトレーニングパイプラインを活用しました。Kolibriは、ドイツ語、推論、数学、エージェント行動に特化しており、公共行政、産業、航空宇宙などの規制されたセクターで主権的なミッションクリティカルな作業を対象としています。このモデルは、能力とデプロイメントコストのトレードオフを最適化し、英語とドイツ語の両方で品質対サービングコストのパレートフロンティアに位置しています。Aleph Alphaは、完全なサプライチェーンの整合性と透明性を強調し、顧客にデプロイメントの自由と知的財産の安全性を継承されたコンプライアンスプロパティとして提供しています。モデルの小さく効率的なサイズにより、オンプレミスで効果的に実行でき、内部データをサードパーティの推論サービスに送信する必要がなくなります。詳細なベンチマーク分析については、完全なテックレポートをお読みください。
出典: Hacker News · 要約：HeadlinesBriefing