DS4 · 本地前沿推理 使用ds4在本地运行前沿开放权重。Dwarf Star 4是一个窄C推理引擎，适用于高内存Mac、CUDA和ROCm机器。它支持Deep Seek V4和V4.1 Flash、GLM 5.x和Qwen3.8 Flash Next，包括文本和视觉模型、本地API、CLI和原生代理，集成在一个栈中。
支持：DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT许可证· C / METAL / CUDA / ROCM· QWEN在64GB原则。2840亿参数的Deep Seek V4 Flash是一个大型混合专家模型。ds4从远程服务的相反约束出发。非对称量化针对路由专家，同时保留关键路径，使模型在高内存机器上实用。
本地引擎提供CLI、HTTP API和原生代理，共享相同的模型状态和缓存。ds4不是通用的GGUF运行器；它遵循一小部分机会主义的模型家族，并端到端验证每个支持的布局。核心功能包括非对称2位量化、KV缓存作为磁盘公民，以及一个引擎三种接口：./ds4用于聊天，./ds4-server用于本地API，./ds4-agent用于持久编码会话。
运行ds4只需三步：下载项目GGUF，为你的后端构建，然后启动CLI或服务器。硬件适配包括M5 Max、128 GB等平台，实现34.4 T/S生成和557 T/S预填充。ds4-server支持OpenAI和Anthropic风格的API，使本地编码代理能够连接到你的机器。
关键实体：公司：Deep Seek、GLM、Qwen、Dwarf Star
来源: Hacker News · 由HeadlinesBriefing整理摘要