HeadlinesBriefing favicon HeadlinesBriefing.com

斯坦福和 NVIDIA 发布 CLM-8B:快速决策 AI 模型

Hacker News •
×

斯坦福大学和 NVIDIA 的研究人员推出了对比语言模型 (CLM),这是一类专为快速且可泛化的决策设计的系统一模型。已发布的 CLM-8B 模型在 6000 万个 Nemotron 问答对上进行预训练,在 3000 万个合成困难负样本上进行中间训练,并在 100 万个智能体轨迹上进行后训练。该模型在计算机使用、游戏和工具调用任务上提供与 Jev 相当的性能,同时实现高达 9 倍的低延迟。一项关键创新是将状态和动作解耦,允许嵌入被独立缓存和复用,从而实现超高效的训练和服务基础设施。研究人员建立了缩放定律,证明测试对比损失随着训练算力、模型规模和数据集规模按幂律可预测地下降。通过轻量级微调,CLM-8B 在具有挑战性的智能体编码基准测试上设定了新的最先进水平,包括 Deep SWE 达到 81.6% 和 Terminal Bench 2.1 达到 87.6%。跨计算机使用、游戏和工具调用任务的性能评估显示,CLM 在运行速度显著更快的同时性能与现有模型持平,当候选动作较大或在状态间频繁复用时加速效果最为显著。团队已在 GitHub 上发布模型供公众访问。