研究 Aleph Alpha 在德国统一日，AI公司Aleph Alpha发布了Kolibri，一款新的开放权重混合专家Transformer模型，总参数量为78B，活跃参数量为3B。该模型支持高达1M token的上下文长度，并通过Hugging Face在Apache 2.0许可下发布。Kolibri代表了该公司早期Kolibri Origin模型的一次重要进化，这是一款30B参数模型，上下文窗口为65k token。开发团队利用强大的训练流程运行了数百次消融实验，并在硬件故障面前实现了稳定的预训练。Kolibri专注于德语、推理、数学和代理行为，面向公共行政、工业和航空航天等监管严格的领域开展主权级的关键任务工作。该模型在能力与部署成本之间进行了优化，在英语和德语中都处于质量与服务成本的帕累托前沿。Aleph Alpha强调完全的供应链完整性和透明度，为客户提供部署自由和知识产权安全作为继承的合规属性。该模型小而高效的大小使其能够在本地有效运行，避免将内部数据发送到第三方推理服务。阅读完整的技术报告以获取详细的基准分析。
来源: Hacker News · 由HeadlinesBriefing整理摘要