DS4 · INFERÊNCIA LOCAL DE FRONTEIRA Execute pesos abertos de fronteira localmente com ds4. Dwarf Star 4 é um mecanismo de inferência C estreito para máquinas Mac de alta memória, CUDA e ROCm. Ele suporta Deep Seek V4 e V4.1 Flash, GLM 5.x e Qwen3.8 Flash Next, com modelos de texto e visão, APIs locais, CLI e um agente nativo em uma única pilha.
SUPORTADO: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LICENÇA MIT· C / METAL / CUDA / ROCM· PRINCÍPIO QWEN EM 64GB. O modelo Deep Seek V4 Flash de 284 bilhões de parâmetros é um grande modelo de mistura de especialistas. ds4 começa a partir da restrição oposta do serviço remoto. A quantização assimétrica visa os especialistas roteados enquanto preserva os caminhos críticos, tornando o modelo prático em máquinas de alta memória.
O mecanismo local expõe uma CLI, APIs HTTP e um agente nativo, todos compartilhando o mesmo estado do modelo e cache. ds4 não é um executor GGUF genérico; ele segue um pequeno conjunto oportunista de famílias de modelos e valida cada layout suportado de ponta a ponta. Os principais recursos incluem quantização assimétrica de 2 bits, cache KV como cidadão do disco e um mecanismo com três interfaces: ./ds4 para chat, ./ds4-server para APIs locais e ./ds4-agent para sessões de codificação persistentes.
Execute ds4 em três etapas: baixe o GGUF do projeto, compile para seu backend, depois inicie a CLI ou o servidor. O ajuste de hardware inclui plataformas como M5 Max, 128 GB alcançando 34,4 T/S de geração e 557 T/S de prefill. ds4-server fala APIs estilo OpenAI e Anthropic, permitindo que agentes de codificação locais se conectem à sua própria máquina.
Entidades-chave: Empresas: Deep Seek, GLM, Qwen, Dwarf Star
Fonte: Hacker News · Resumido por HeadlinesBriefing