Janus是一个单一的Go二进制文件，可以在您的机器（GPU或CPU）上运行.gguf模型，并暴露一个兼容Open AI的API。无需Python、无需Docker、无需Ollama。按您的方式使用：从命令行调用（curl、Power Shell、脚本），将其接入Cursor / Cline / 任何Open AI客户端——相同的本地模型，适合您的工作流程。
您获得的功能包括通过llama.cpp和Vulkan（AMD / Intel / NVIDIA）进行本地推理，或CPU回退；兼容Open AI的API，包含/v1/chat/completions和/v1/models等端点；无需重启即可热切换模型；支持思考模型，包含推理内容拆分；从GGUF元数据自动检测聊天模板；零依赖——Windows上一个.exe文件。
要求：建议使用Windows 10/11，Go 1.22+，支持Vulkan的GPU；Linux需要Go 1.22+，Vulkan或CPU；macOS需要Go 1.22+，CPU后端。磁盘空间包括模型大小（通常每个模型2–8 GB）加上Janus + llama.dll约50 MB。快速入门包括克隆仓库、使用build.ps1构建、下载.gguf文件、配置.env文件（例如INFERENCE_BACKEND=vulkan、JANUS_MODEL_PATH），并在127.0.0.1:8990上运行服务器。
项目布局包括cmd/janus/用于主服务器、cmd/modelget/用于模型下载、internal/engine/用于llama.cpp Vulkan运行器。常见陷阱包括确保没有残留进程占用端口8990、正确的JANUS_MODEL_PATH以及更新的GPU驱动。
来源: Hacker News · 由HeadlinesBriefing整理摘要