本文解释了如何通过将输出限制为固定选项（如A到E）来使用大型语言模型（LLM）构建决策模型。与标准语言模型依次生成标记不同，决策模型（如Jev）假设固定选择并在一次通过中进行预测。作者展示了使用Qwen/Qwen3-1.7B模型的技术，应用受限解码将输出限制为预定义标记。通过屏蔽所有其他词汇项，模型只能发出有效选项，并选择概率最高的标记作为答案。
该方法在CommonsenseQA数据集上进行了测试，未经微调即可达到59.38%的准确率。快速微调后，准确率提高到62.41%。文章还指出了一种限制：输出标记概率不一定反映对正确性的真实信心，尤其是在模糊问题上。作者提供了使用Hugging Face Transformers和PyTorch的完整Python实现，展示了如何格式化提示、加载模型以及计算每个选项的概率。此方法提供了一种轻量级方式，将LLM重新用于多选推理任务。
关键实体：公司：Hugging Face，Qwen
常见问题：受限解码如何改善LLM决策？
受限解码将模型的输出限制在预定义的标记集合（例如A–E），实现单次预测。这模仿了像Jev这样的决策模型，并通过消除迭代标记生成的需求来减少计算开销。
来源: Hacker News · 由HeadlinesBriefing整理摘要