HeadlinesBriefing favicon HeadlinesBriefing.com

GitHub firelex/jeff:快速零样本分类模型

Hacker News •
×

GitHub - firelex/jeff:Qwen3.5和Gemma 4的微调,用于零样本分类:小型、快速的决策模型,您可以将它们嵌入代码中,请求格式与Jev相同。您用简单的语言描述情况并列出选项;Jeff通过一次前向传播为每个选项返回校准概率。无需生成文本,无需解析:在RTX PRO 6000上每次决策约22毫秒,在Apple M4 Max(MLX)上约28毫秒。

零样本意味着选项可以是任何内容:支持队列、用户意图、审核标签、语音命令、游戏动作。您的类别不需要出现在训练数据中;您描述它们,Jeff进行选择。这些是非常小的模型。它们在选项之间做出极其快速、校准良好的判断,并且可以轻松嵌入您的本地代码。在基准测试中,它们接近甚至有时超越Jev;但在此规模下,它们的推理能力无法与运行在更大模型上的Jev匹敌。

完全在本地硬件上构建。在一台RTX PRO 6000工作站GPU上训练(0.8B模型约需2小时,2B模型约需3.5小时),所有合成训练数据由开放模型(Qwen3.8-Flash-Next)在两台DGX Spark上编写,在Mac Book上测试。无云GPU,训练数据中无闭源模型输出。Jeff使用与Jev相同的请求格式,但与Jev的制造商Type Safe无关联或背书。Hugging Face上的模型:Jeff-Qwen3.5-0.8B、Jeff-Qwen3.5-2B、Jeff-Gemma4-E2B。

基准测试:来自五个公开基准测试的4,599个问题,加上Jev Bench的公开困难级别。Jeff在分类和接地方面的总体得分匹配或超越Jev。