DS4 · INFERENCIA LOCAL DE FRONTERA Ejecuta pesos abiertos de frontera localmente con ds4. Dwarf Star 4 es un motor de inferencia C estrecho para máquinas Mac de alta memoria, CUDA y ROCm. Soporta Deep Seek V4 y V4.1 Flash, GLM 5.x y Qwen3.8 Flash Next, con modelos de texto y visión, API locales, CLI y un agente nativo en una sola pila.
SOPORTADO: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LICENCIA MIT· C / METAL / CUDA / ROCM· PRINCIPIO QWEN EN 64GB. El modelo Deep Seek V4 Flash de 284 mil millones de parámetros es un gran modelo de mezcla de expertos. ds4 comienza desde la restricción opuesta del servicio remoto. La cuantización asimétrica apunta a los expertos enrutados mientras preserva las rutas críticas, haciendo que el modelo sea práctico en máquinas de alta memoria.
El motor local expone una CLI, API HTTP y un agente nativo, todos compartiendo el mismo estado del modelo y caché. ds4 no es un ejecutor GGUF genérico; sigue un pequeño conjunto oportunista de familias de modelos y valida cada diseño soportado de extremo a extremo. Las características principales incluyen cuantización asimétrica de 2 bits, caché KV como ciudadano de disco, y un motor con tres interfaces: ./ds4 para chat, ./ds4-server para API locales y ./ds4-agent para sesiones de codificación persistentes.
Ejecuta ds4 en tres pasos: descarga el GGUF del proyecto, compila para tu backend, luego inicia la CLI o el servidor. El ajuste de hardware incluye plataformas como M5 Max, 128 GB logrando 34.4 T/S de generación y 557 T/S de prefill. ds4-server habla API estilo OpenAI y Anthropic, permitiendo que agentes de codificación locales se conecten a tu propia máquina.
Entidades clave: Empresas: Deep Seek, GLM, Qwen, Dwarf Star
Fuente: Hacker News · Resumido por HeadlinesBriefing