Janas-LLM 在 32GB 笔记本上以 37 tok/s 的速度处理 Qwen3-Next-80B（48 GB），而 llama.cpp 仅为 2.8 tok/s。读取提示词时，Janas-LLM 达到 62 tok/s，llama.cpp 为 16 tok/s。测试环境为 Debian 13 Linux，搭载 Intel Core Ultra 9 185H 和集成 Arc GPU。Janas-LLM 在 Q4_K_M 格式下对比的 13 个模型中全面超越 llama.cpp。对于大于系统内存的模型，Janas-LLM 通过从 NVMe SSD 流式传输专家权重，同时将常用模型保留在内存中运行。该工具用 C 语言编写，仅依赖 C 标准库。由 Maurizio "camauri" Cammalleri 设计，Janas 属于实验性早期软件。支持 Linux x86-64 和 Windows 10/11（x86-64）构建。在 Windows 11 上，Janas-LLM 性能与 Linux 相当。公共 API 和命令行可能随时变更，但已发布的 .jns 模型文件在不同版本间保持兼容。
来源: Hacker News · 由HeadlinesBriefing整理摘要