HeadlinesBriefing favicon HeadlinesBriefing.com

Fireworks 推出 Ember-1 高效 Kimi K3 模型

Hacker News •
×

Ember-1 是来自 Fireworks Research 的新专用模型,能够以 40% 更少的 token delivers Kimi K3 的质量。基于 Kimi K3 构建,它学习在切断不必要的推理的同时保留必要的思考。经过外部基准测试、实时客户 A/B 测试以及内部编码和代理工作负载的测试,质量保持一致。Ember-1 现已上线,开启一系列由开发者需求塑造的专用模型系列。Fireworks Research 在用户要求以更低成本获得 Kimi K3 的编码能力后开发了 Ember-1,因为冗长的推理链使得大规模自动编码变得昂贵。降低努力设置会牺牲过多的质量,因此团队专注于训练模型更高效地推理。进行了 50 多次训练实验和 200 次评估,取得了一系列新训练算法,这些算法在不降低准确度的情况下缩短推理过程。训练在 Fireworks Serverless Training 上进行,实现了快速实验、按需付费定价以及更快的研究到发布周期。Ember-1 在多种任务上进行了评估,以确保 token 节省措施适用于各种工作负载,然后在 Specialized Intelligence Index、公共基准测试和实时生产流量上进行了验证。该模型解决了像 Kimi K3 这样的推理模型中的低效率问题,这些模型在内部推理而非答案上花费了超过 90% 的 token。在多轮代理工作负载中,这变得非常昂贵,因为之前的推理会被重新读取和重新计费。Ember-1 在保留有用的自我反思的同时消除了多余的推理,使用来自任务和环境的反馈来学习高效推理。训练涵盖数学、编码、指令遵循、对话、搜索、工具使用和软件工程,包括扩展交互。结果证实了在七个基准测试和两位客户的生产流量中保持了质量。