这篇 Hacker News 帖子的作者承认自己在模型开发方面经验有限,他回应了读者的疑问:为什么 strands-decider-2B 采用改进的 LLM,而不是像 BERT 那样的编码器。直觉上,双向编码器中每个词元都利用了前后两侧的词元来表示,因此应当优于只能向后看的因果模型。作者承认,该项目本质上是把解码器当作编码器使用,因此这个问题是合理的。
为了验证这一点,作者比较了五种设计:基于 Qwen3.5 的最终版本 strands-decider v19;两个基于 T5Gemma 2 的编码器-解码器模型,总参数量分别为 2B 和 8B;以及两个从 T5Gemma 衍生的纯编码器变体,其中一个使用掩码状态缓存,以便并行评估多个问题。8B 编码器-解码器模型在准确率和 Brier 分数上优于 v19,但其规模约为 v19 的四倍,因此这并非同等条件下的比较。更有意义的比较是 v19 与延迟优化的编码器 e1b:后者在一项基准准确率指标上略微领先 v19,但差距处于多次运行的方差范围之内,而在校准方面则略逊一筹。
在延迟方面,纯编码器模型优势明显,中位数约为 35 毫秒,而 v19 为 65 毫秒。然而,随着提示词变长,这一优势会逐渐缩小。编码器在所有层中使用全注意力,其计算量随长度呈二次方增长;而 v19 的大多数层采用线性成本的 Gated Delta Net。这些层的固定开销较高,但扩展性更好,因此形成了更高的延迟下限。由于基准测试的工作负载以短提示词为主,编码器在实际中因此受益。
未加掩码的编码器 e1a 在九项任务中的七项上优于 v19,但在两项关键基准上表现较差,这表明如果不加掩码,允许问题关注状态可能是一个弱点。作者的结论是,编码器方法颇具潜力,但并非在所有方面都明显胜出。
来源: Hacker News · 由HeadlinesBriefing整理摘要