HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev浏览器决策模型实验

Hacker News •
×

openjev 推出一项基于浏览器的实验,探索决策模型是否可以在本地运行而无需后端依赖。该项目允许用户选择模型大小,包括默认的 Mini CPM 5 2B 或适用于较小设备的 Qwen3 0.6B,并测量直接概率读出与逐标记生成之间的性能差异。用户从 Hugging Face 加载量化权重,这些权重在本地缓存中保留,输入完全停留在页面上。实验比较了两种方法:直接读出(将 softmax 在提供的选项上归一化,不进行解码)和生成(要求模型将选项概率以 JSON 文本形式逐标记写入)。两者在同一加载的模型上依次运行,以避免 GPU 争用。权重来自 Hugging Face,并在浏览器缓存中持久化。首次加载模型可能需要几分钟,具体取决于选择、网络和硬件。演示使用通过 wllama 固定的 GGUF 构建,注意量化会影响质量和速度。这个本地实验提供即时访问,无需等待名单,使用户能够直接在浏览器环境中基准测试决策模型性能。