DS4 · ЛОКАЛЬНЫЙ ПЕРЕДОВОЙ ИНФЕРЕНС Запускайте передовые открытые веса локально с ds4. Dwarf Star 4 — это узкий C-движок инференса для машин Mac с большим объемом памяти, CUDA и ROCm. Он поддерживает Deep Seek V4 и V4.1 Flash, GLM 5.x и Qwen3.8 Flash Next, с текстовыми и визуальными моделями, локальными API, CLI и нативным агентом в одном стеке.
ПОДДЕРЖИВАЕТСЯ: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · ЛИЦЕНЗИЯ MIT· C / METAL / CUDA / ROCM· ПРИНЦИП QWEN НА 64GB. Модель Deep Seek V4 Flash с 284 миллиардами параметров — это большая модель смеси экспертов. ds4 начинает с противоположного ограничения удаленного обслуживания. Асимметричная квантизация нацелена на маршрутизированных экспертов, сохраняя критические пути, что делает модель практичной на машинах с большим объемом памяти.
Локальный движок предоставляет CLI, HTTP API и нативного агента, все они используют одно и то же состояние модели и кэш. ds4 — это не универсальный запускатель GGUF; он следует небольшому оппортунистическому набору семейств моделей и проверяет каждый поддерживаемый макет от начала до конца. Основные функции включают асимметричную 2-битную квантизацию, KV-кэш как гражданина диска и один движок с тремя интерфейсами: ./ds4 для чата, ./ds4-server для локальных API и ./ds4-agent для постоянных сессий кодирования.
Запустите ds4 в три шага: скачайте GGUF проекта, соберите для вашего бэкенда, затем запустите CLI или сервер. Аппаратная совместимость включает такие платформы, как M5 Max, 128 ГБ, достигающие 34,4 T/S генерации и 557 T/S префилла. ds4-server говорит на API в стиле OpenAI и Anthropic, позволяя локальным агентам кодирования подключаться к вашей собственной машине.
Ключевые сущности: Компании: Deep Seek, GLM, Qwen, Dwarf Star
Источник: Hacker News · Сводку подготовил HeadlinesBriefing