ThinkingCap推出了其第五款令牌高效模型,该模型基于谷歌的gemma-4-26B-A4B-it构建。其目标是在回答前减少模型的思考量,同时不改变其他任何方面,包括知识、推理、回答质量、指令遵循和安全行为。在十二项基准测试中,思考令牌平均减少了38.9%,单项测试的降幅最高达69.1%。
准确率的代价微乎其微。在全部十二项基准测试中取平均,准确率仅变化了-0.15pp,团队指出这一幅度小于该测试套件中大多数测试的运行间波动。指令遵循和智能体任务提升了0.65pp,数学提升了0.39pp,代码基本持平。知识与推理下降了0.51pp,长上下文和多模态任务下降了0.92pp。循环现象(即模型重复自身内容)的比例从原始模型回答的3.6%降至0.8%。
减少幅度在长上下文和多模态任务上最大,达到54.4%,其次是知识与推理的44.4%、数学的36.1%和代码的27.6%。指令遵循和智能体任务的变化最小,为17.2%。
该模型为即插即用的替代品,使用相同的采样设置和服务架构。据报道,PRO版本可将思考令牌最多减少87.6%,平均减少62%,适合寻求大规模降低推理成本的企业。
来源: Hacker News · 由HeadlinesBriefing整理摘要