From the creator of Redis; run LLM locally with ds4

DS4 · LOCAL FRONTIER INFERENCE Run frontier open weights locally with ds4. Dwarf Star 4 is a narrow C inference engine for high-memory Mac, CUDA and ROCm machines. It supports Deep Seek V4 and V4.1 Flash, GLM 5.x and Qwen3.8 Flash Next, with text and vision models, local APIs, a CLI and a native agent in one stack.

SUPPORTED: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT LICENSE· C / MET AL / CUDA / ROCM· QWEN ON 64GB PRINCIPLE. The 284-billion-parameter Deep Seek V4 Flash is a large mixture-of-experts model. ds4 starts from the opposite constraint of remote serving. Asymmetric quantization targets the routed experts while preserving critical paths, making the model practical on high-memory machines.

The local engine exposes a CLI, HTTP APIs and a native agent, all sharing the same model state and cache. ds4 is not a generic GGUF runner; it follows a small, opportunistic set of model families and validates each supported layout end to end. Core features include asymmetric 2-bit quantization, KV cache as a disk citizen, and one engine with three interfaces: ./ds4 for chat, ./ds4-server for local APIs and ./ds4-agent for persistent coding sessions.

Run ds4 in three steps: download the project GGUF, build for your backend, then start the CLI or server. Hardware fit includes platforms like M5 Max, 128 GB achieving 34.4 T/S generation and 557 T/S prefill. ds4-server speaks OpenAI and Anthropic-style APIs, enabling local coding agents to connect to your own machine.

DS4 · الاستدلال المحلي المتقدم قم بتشغيل الأوزان المفتوحة المتقدمة محليًا باستخدام ds4. Dwarf Star 4 هو محرك استدلال C ضيق لأجهزة Mac عالية الذاكرة وCUDA وROCm. وهو يدعم Deep Seek V4 وV4.1 Flash وGLM 5.x وQwen3.8 Flash Next، مع نماذج النصوص والرؤية وواجهات برمجة تطبيقات محلية وCLI ووكيل أصلي في حزمة واحدة.

مدعوم: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · رخصة MIT· C / METAL / CUDA / ROCM· مبدأ QWEN على 64GB. نموذج Deep Seek V4 Flash ذو 284 مليار معلمة هو نموذج كبير مختلط الخبراء. يبدأ ds4 من القيد المعاكس للخدمة عن بُعد. يستهدف التكميم غير المتماثل الخبراء الموجهين مع الحفاظ على المسارات الحرجة، مما يجعل النموذج عمليًا على الأجهزة عالية الذاكرة.

يكشف المحرك المحلي عن CLI وواجهات برمجة تطبيقات HTTP ووكيل أصلي، جميعها تشارك نفس حالة النموذج والذاكرة المؤقتة. ds4 ليس مشغل GGUF عامًا؛ فهو يتبع مجموعة صغيرة وانتهازية من عائلات النماذج ويتحقق من كل تخطيط مدعوم من البداية إلى النهاية. تشمل الميزات الأساسية التكميم غير المتماثل 2-بت، وذاكرة KV كمواطن قرص، ومحرك واحد بثلاث واجهات: ./ds4 للدردشة، و./ds4-server لواجهات برمجة التطبيقات المحلية، و./ds4-agent لجلسات البرمجة المستمرة.

قم بتشغيل ds4 في ثلاث خطوات: قم بتنزيل GGUF المشروع، وقم بالبناء لخلفيتك، ثم ابدأ CLI أو الخادم. يشمل توافق الأجهزة منصات مثل M5 Max، 128 جيجابايت التي تحقق 34.4 T/S للتوليد و557 T/S للتمهيد. يتحدث ds4-server واجهات برمجة تطبيقات بأسلوب OpenAI وAnthropic، مما يتيح لوكلاء البرمجة المحليين الاتصال بجهازك الخاص.

الكيانات الرئيسية: الشركات: Deep Seek، GLM، Qwen، Dwarf Star

DS4 · স্থানীয় ফ্রন্টিয়ার ইনফারেন্স ds4 দিয়ে স্থানীয়ভাবে ফ্রন্টিয়ার ওপেন ওয়েট চালান। Dwarf Star 4 হল উচ্চ-মেমরি Mac, CUDA এবং ROCm মেশিনের জন্য একটি সংকীর্ণ C ইনফারেন্স ইঞ্জিন। এটি Deep Seek V4 এবং V4.1 Flash, GLM 5.x এবং Qwen3.8 Flash Next সমর্থন করে, টেক্সট এবং ভিশন মডেল, স্থানীয় API, CLI এবং একটি নেটিভ এজেন্ট এক স্ট্যাকে।

সমর্থিত: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT লাইসেন্স· C / METAL / CUDA / ROCM· QWEN 64GB নীতিতে। 284-বিলিয়ন-প্যারামিটার Deep Seek V4 Flash একটি বড় মিক্সচার-অফ-এক্সপার্টস মডেল। ds4 দূরবর্তী সার্ভিংয়ের বিপরীত সীমাবদ্ধতা থেকে শুরু হয়। অ্যাসিমেট্রিক কোয়ান্টাইজেশন রাউটেড এক্সপার্টদের লক্ষ্য করে যখন গুরুত্বপূর্ণ পথ সংরক্ষণ করে, মডেলটিকে উচ্চ-মেমরি মেশিনে ব্যবহারিক করে তোলে।

স্থানীয় ইঞ্জিন CLI, HTTP API এবং একটি নেটিভ এজেন্ট প্রকাশ করে, সব একই মডেল স্টেট এবং ক্যাশ ভাগ করে। ds4 একটি সাধারণ GGUF রানার নয়; এটি মডেল পরিবারের একটি ছোট, সুবিধাবাদী সেট অনুসরণ করে এবং প্রতিটি সমর্থিত লেআউট শেষ থেকে শেষ পর্যন্ত বৈধ করে। মূল বৈশিষ্ট্যগুলির মধ্যে রয়েছে অ্যাসিমেট্রিক 2-বিট কোয়ান্টাইজেশন, ডিস্ক নাগরিক হিসাবে KV ক্যাশ, এবং তিনটি ইন্টারফেস সহ একটি ইঞ্জিন: ./ds4 চ্যাটের জন্য, ./ds4-server স্থানীয় API-এর জন্য এবং ./ds4-agent স্থায়ী কোডিং সেশনের জন্য।

তিন ধাপে ds4 চালান: প্রকল্প GGUF ডাউনলোড করুন, আপনার ব্যাকএন্ডের জন্য বিল্ড করুন, তারপর CLI বা সার্ভার শুরু করুন। হার্ডওয়্যার ফিটের মধ্যে M5 Max, 128 GB-এর মতো প্ল্যাটফর্ম অন্তর্ভুক্ত যা 34.4 T/S জেনারেশন এবং 557 T/S প্রিফিল অর্জন করে। ds4-server OpenAI এবং Anthropic-স্টাইল API বলে, স্থানীয় কোডিং এজেন্টদের আপনার নিজের মেশিনে সংযোগ করতে সক্ষম করে।

মূল সত্তা: কোম্পানি: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · LOKALE FRONTIER-INFERENZ Führen Sie Frontier-Open-Weights lokal mit ds4 aus. Dwarf Star 4 ist eine schmale C-Inferenz-Engine für Maschinen mit hohem Arbeitsspeicher (Mac, CUDA und ROCm). Sie unterstützt Deep Seek V4 und V4.1 Flash, GLM 5.x und Qwen3.8 Flash Next, mit Text- und Vision-Modellen, lokalen APIs, einer CLI und einem nativen Agenten in einem Stack.

UNTERSTÜTZT: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT-LIZENZ· C / METAL / CUDA / ROCM· QWEN AUF 64GB-PRINZIP. Das 284-Milliarden-Parameter-Modell Deep Seek V4 Flash ist ein großes Mixture-of-Experts-Modell. ds4 geht von der entgegengesetzten Einschränkung des Remote-Servings aus. Asymmetrische Quantisierung zielt auf die gerouteten Experten ab, während kritische Pfade erhalten bleiben, was das Modell auf Maschinen mit hohem Arbeitsspeicher praktikabel macht.

Die lokale Engine stellt eine CLI, HTTP-APIs und einen nativen Agenten bereit, die alle denselben Modellzustand und Cache teilen. ds4 ist kein generischer GGUF-Runner; es folgt einer kleinen, opportunistischen Menge von Modellfamilien und validiert jedes unterstützte Layout Ende-zu-Ende. Zu den Kernfunktionen gehören asymmetrische 2-Bit-Quantisierung, KV-Cache als Disk-Bürger und eine Engine mit drei Schnittstellen: ./ds4 für Chat, ./ds4-server für lokale APIs und ./ds4-agent für persistente Codierungssitzungen.

Führen Sie ds4 in drei Schritten aus: Laden Sie das Projekt-GGUF herunter, bauen Sie für Ihr Backend, dann starten Sie die CLI oder den Server. Die Hardware-Abdeckung umfasst Plattformen wie M5 Max, 128 GB, die 34,4 T/S Generierung und 557 T/S Prefill erreichen. ds4-server spricht OpenAI- und Anthropic-ähnliche APIs und ermöglicht es lokalen Codierungsagenten, sich mit Ihrer eigenen Maschine zu verbinden.

Wichtige Entitäten: Unternehmen: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · INFERENCIA LOCAL DE FRONTERA Ejecuta pesos abiertos de frontera localmente con ds4. Dwarf Star 4 es un motor de inferencia C estrecho para máquinas Mac de alta memoria, CUDA y ROCm. Soporta Deep Seek V4 y V4.1 Flash, GLM 5.x y Qwen3.8 Flash Next, con modelos de texto y visión, API locales, CLI y un agente nativo en una sola pila.

SOPORTADO: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LICENCIA MIT· C / METAL / CUDA / ROCM· PRINCIPIO QWEN EN 64GB. El modelo Deep Seek V4 Flash de 284 mil millones de parámetros es un gran modelo de mezcla de expertos. ds4 comienza desde la restricción opuesta del servicio remoto. La cuantización asimétrica apunta a los expertos enrutados mientras preserva las rutas críticas, haciendo que el modelo sea práctico en máquinas de alta memoria.

El motor local expone una CLI, API HTTP y un agente nativo, todos compartiendo el mismo estado del modelo y caché. ds4 no es un ejecutor GGUF genérico; sigue un pequeño conjunto oportunista de familias de modelos y valida cada diseño soportado de extremo a extremo. Las características principales incluyen cuantización asimétrica de 2 bits, caché KV como ciudadano de disco, y un motor con tres interfaces: ./ds4 para chat, ./ds4-server para API locales y ./ds4-agent para sesiones de codificación persistentes.

Ejecuta ds4 en tres pasos: descarga el GGUF del proyecto, compila para tu backend, luego inicia la CLI o el servidor. El ajuste de hardware incluye plataformas como M5 Max, 128 GB logrando 34.4 T/S de generación y 557 T/S de prefill. ds4-server habla API estilo OpenAI y Anthropic, permitiendo que agentes de codificación locales se conecten a tu propia máquina.

Entidades clave: Empresas: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · INFÉRENCE LOCALE DE POINTE Exécutez des poids ouverts de pointe localement avec ds4. Dwarf Star 4 est un moteur d'inférence C étroit pour les machines Mac haute mémoire, CUDA et ROCm. Il prend en charge Deep Seek V4 et V4.1 Flash, GLM 5.x et Qwen3.8 Flash Next, avec des modèles texte et vision, des API locales, une CLI et un agent natif dans une seule pile.

PRIS EN CHARGE : DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LICENCE MIT· C / METAL / CUDA / ROCM· PRINCIPE QWEN SUR 64GB. Le modèle Deep Seek V4 Flash à 284 milliards de paramètres est un grand modèle de mélange d'experts. ds4 part de la contrainte opposée du service distant. La quantification asymétrique cible les experts routés tout en préservant les chemins critiques, rendant le modèle pratique sur les machines haute mémoire.

Le moteur local expose une CLI, des API HTTP et un agent natif, partageant tous le même état de modèle et le même cache. ds4 n'est pas un exécuteur GGUF générique ; il suit un petit ensemble opportuniste de familles de modèles et valide chaque disposition prise en charge de bout en bout. Les fonctionnalités principales incluent la quantification asymétrique 2 bits, le cache KV comme citoyen du disque, et un moteur avec trois interfaces : ./ds4 pour le chat, ./ds4-server pour les API locales et ./ds4-agent pour les sessions de codage persistantes.

Exécutez ds4 en trois étapes : téléchargez le GGUF du projet, compilez pour votre backend, puis démarrez la CLI ou le serveur. L'adéquation matérielle inclut des plateformes comme M5 Max, 128 Go atteignant 34,4 T/S de génération et 557 T/S de préremplissage. ds4-server parle des API de style OpenAI et Anthropic, permettant aux agents de codage locaux de se connecter à votre propre machine.

Entités clés : Entreprises : Deep Seek, GLM, Qwen, Dwarf Star

DS4 · स्थानीय फ्रंटियर इन्फ्रेंस ds4 के साथ स्थानीय रूप से फ्रंटियर ओपन वेट चलाएं। Dwarf Star 4 उच्च-मेमोरी Mac, CUDA और ROCm मशीनों के लिए एक संकीर्ण C इन्फ्रेंस इंजन है। यह Deep Seek V4 और V4.1 Flash, GLM 5.x और Qwen3.8 Flash Next का समर्थन करता है, जिसमें टेक्स्ट और विज़न मॉडल, स्थानीय API, CLI और एक मूल एजेंट एक स्टैक में शामिल हैं।

समर्थित: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT लाइसेंस· C / METAL / CUDA / ROCM· QWEN 64GB सिद्धांत पर। 284-बिलियन-पैरामीटर Deep Seek V4 Flash एक बड़ा मिश्रण-ऑफ-एक्सपर्ट्स मॉडल है। ds4 दूरस्थ सेवा की विपरीत बाधा से शुरू होता है। असममित क्वांटाइज़ेशन रूटेड एक्सपर्ट्स को लक्षित करता है जबकि महत्वपूर्ण पथों को संरक्षित करता है, जिससे मॉडल उच्च-मेमोरी मशीनों पर व्यावहारिक हो जाता है।

स्थानीय इंजन CLI, HTTP API और एक मूल एजेंट को उजागर करता है, सभी एक ही मॉडल स्थिति और कैश साझा करते हैं। ds4 एक सामान्य GGUF रनर नहीं है; यह मॉडल परिवारों के एक छोटे, अवसरवादी सेट का अनुसरण करता है और प्रत्येक समर्थित लेआउट को अंत-से-अंत तक मान्य करता है। मुख्य विशेषताओं में असममित 2-बिट क्वांटाइज़ेशन, डिस्क नागरिक के रूप में KV कैश, और तीन इंटरफेस वाला एक इंजन शामिल है: ./ds4 चैट के लिए, ./ds4-server स्थानीय API के लिए और ./ds4-agent लगातार कोडिंग सत्रों के लिए।

ds4 को तीन चरणों में चलाएं: प्रोजेक्ट GGUF डाउनलोड करें, अपने बैकएंड के लिए बिल्ड करें, फिर CLI या सर्वर शुरू करें। हार्डवेयर फिट में M5 Max, 128 GB जैसे प्लेटफॉर्म शामिल हैं जो 34.4 T/S जनरेशन और 557 T/S प्रीफिल प्राप्त करते हैं। ds4-server OpenAI और Anthropic-शैली API बोलता है, जिससे स्थानीय कोडिंग एजेंट आपकी अपनी मशीन से जुड़ सकते हैं।

प्रमुख संस्थाएं: कंपनियां: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · INFERENSI FRONTIER LOKAL Jalankan bobot terbuka frontier secara lokal dengan ds4. Dwarf Star 4 adalah mesin inferensi C sempit untuk mesin Mac memori tinggi, CUDA, dan ROCm. Ini mendukung Deep Seek V4 dan V4.1 Flash, GLM 5.x dan Qwen3.8 Flash Next, dengan model teks dan visi, API lokal, CLI, dan agen asli dalam satu tumpukan.

DIDUKUNG: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LISENSI MIT· C / METAL / CUDA / ROCM· PRINSIP QWEN PADA 64GB. Model Deep Seek V4 Flash dengan 284 miliar parameter adalah model campuran-ahli besar. ds4 dimulai dari kendala kebalikan dari pelayanan jarak jauh. Kuantisasi asimetris menargetkan ahli yang dirutekan sambil mempertahankan jalur kritis, membuat model praktis pada mesin memori tinggi.

Mesin lokal mengekspos CLI, API HTTP, dan agen asli, semuanya berbagi status model dan cache yang sama. ds4 bukan pelari GGUF generik; ia mengikuti sekumpulan kecil keluarga model yang oportunistik dan memvalidasi setiap tata letak yang didukung dari ujung ke ujung. Fitur inti termasuk kuantisasi 2-bit asimetris, cache KV sebagai warga disk, dan satu mesin dengan tiga antarmuka: ./ds4 untuk obrolan, ./ds4-server untuk API lokal, dan ./ds4-agent untuk sesi pengkodean persisten.

Jalankan ds4 dalam tiga langkah: unduh GGUF proyek, bangun untuk backend Anda, lalu mulai CLI atau server. Kecocokan perangkat keras mencakup platform seperti M5 Max, 128 GB yang mencapai 34,4 T/S generasi dan 557 T/S prefill. ds4-server berbicara API gaya OpenAI dan Anthropic, memungkinkan agen pengkodean lokal terhubung ke mesin Anda sendiri.

Entitas Kunci: Perusahaan: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · ローカルフロンティア推論 ds4を使用して、フロンティアのオープンウェイトをローカルで実行します。Dwarf Star 4は、高メモリMac、CUDA、ROCmマシン向けの狭いC推論エンジンです。Deep Seek V4およびV4.1 Flash、GLM 5.x、Qwen3.8 Flash Nextをサポートし、テキストおよびビジョンモデル、ローカルAPI、CLI、ネイティブエージェントを1つのスタックに統合しています。

サポート: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MITライセンス· C / METAL / CUDA / ROCM· QWEN 64GB原則。2840億パラメータのDeep Seek V4 Flashは、大規模な混合専門家モデルです。ds4は、リモートサービスの逆の制約から始まります。非対称量子化は、ルーティングされた専門家を対象とし、重要なパスを保持しながら、高メモリマシンでモデルを実用的にします。

ローカルエンジンは、CLI、HTTP API、ネイティブエージェントを公開し、すべて同じモデル状態とキャッシュを共有します。ds4は汎用GGUFランナーではありません。モデルファミリーの小さな日和見的なセットに従い、サポートされている各レイアウトをエンドツーエンドで検証します。主な機能には、非対称2ビット量子化、ディスク市民としてのKVキャッシュ、3つのインターフェースを持つ1つのエンジン（チャット用の./ds4、ローカルAPI用の./ds4-server、永続的なコーディングセッション用の./ds4-agent）が含まれます。

ds4を3つのステップで実行します：プロジェクトのGGUFをダウンロードし、バックエンド用にビルドし、CLIまたはサーバーを起動します。ハードウェア適合には、M5 Max、128 GBなどのプラットフォームが含まれ、34.4 T/Sの生成と557 T/Sのプリフィルを達成します。ds4-serverはOpenAIおよびAnthropicスタイルのAPIを話し、ローカルコーディングエージェントが自分のマシンに接続できるようにします。

主要エンティティ：企業：Deep Seek、GLM、Qwen、Dwarf Star

DS4 · INFERÊNCIA LOCAL DE FRONTEIRA Execute pesos abertos de fronteira localmente com ds4. Dwarf Star 4 é um mecanismo de inferência C estreito para máquinas Mac de alta memória, CUDA e ROCm. Ele suporta Deep Seek V4 e V4.1 Flash, GLM 5.x e Qwen3.8 Flash Next, com modelos de texto e visão, APIs locais, CLI e um agente nativo em uma única pilha.

SUPORTADO: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LICENÇA MIT· C / METAL / CUDA / ROCM· PRINCÍPIO QWEN EM 64GB. O modelo Deep Seek V4 Flash de 284 bilhões de parâmetros é um grande modelo de mistura de especialistas. ds4 começa a partir da restrição oposta do serviço remoto. A quantização assimétrica visa os especialistas roteados enquanto preserva os caminhos críticos, tornando o modelo prático em máquinas de alta memória.

O mecanismo local expõe uma CLI, APIs HTTP e um agente nativo, todos compartilhando o mesmo estado do modelo e cache. ds4 não é um executor GGUF genérico; ele segue um pequeno conjunto oportunista de famílias de modelos e valida cada layout suportado de ponta a ponta. Os principais recursos incluem quantização assimétrica de 2 bits, cache KV como cidadão do disco e um mecanismo com três interfaces: ./ds4 para chat, ./ds4-server para APIs locais e ./ds4-agent para sessões de codificação persistentes.

Execute ds4 em três etapas: baixe o GGUF do projeto, compile para seu backend, depois inicie a CLI ou o servidor. O ajuste de hardware inclui plataformas como M5 Max, 128 GB alcançando 34,4 T/S de geração e 557 T/S de prefill. ds4-server fala APIs estilo OpenAI e Anthropic, permitindo que agentes de codificação locais se conectem à sua própria máquina.

Entidades-chave: Empresas: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · ЛОКАЛЬНЫЙ ПЕРЕДОВОЙ ИНФЕРЕНС Запускайте передовые открытые веса локально с ds4. Dwarf Star 4 — это узкий C-движок инференса для машин Mac с большим объемом памяти, CUDA и ROCm. Он поддерживает Deep Seek V4 и V4.1 Flash, GLM 5.x и Qwen3.8 Flash Next, с текстовыми и визуальными моделями, локальными API, CLI и нативным агентом в одном стеке.

ПОДДЕРЖИВАЕТСЯ: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · ЛИЦЕНЗИЯ MIT· C / METAL / CUDA / ROCM· ПРИНЦИП QWEN НА 64GB. Модель Deep Seek V4 Flash с 284 миллиардами параметров — это большая модель смеси экспертов. ds4 начинает с противоположного ограничения удаленного обслуживания. Асимметричная квантизация нацелена на маршрутизированных экспертов, сохраняя критические пути, что делает модель практичной на машинах с большим объемом памяти.

Локальный движок предоставляет CLI, HTTP API и нативного агента, все они используют одно и то же состояние модели и кэш. ds4 — это не универсальный запускатель GGUF; он следует небольшому оппортунистическому набору семейств моделей и проверяет каждый поддерживаемый макет от начала до конца. Основные функции включают асимметричную 2-битную квантизацию, KV-кэш как гражданина диска и один движок с тремя интерфейсами: ./ds4 для чата, ./ds4-server для локальных API и ./ds4-agent для постоянных сессий кодирования.

Запустите ds4 в три шага: скачайте GGUF проекта, соберите для вашего бэкенда, затем запустите CLI или сервер. Аппаратная совместимость включает такие платформы, как M5 Max, 128 ГБ, достигающие 34,4 T/S генерации и 557 T/S префилла. ds4-server говорит на API в стиле OpenAI и Anthropic, позволяя локальным агентам кодирования подключаться к вашей собственной машине.

Ключевые сущности: Компании: Deep Seek, GLM, Qwen, Dwarf Star

DS4 · 本地前沿推理 使用ds4在本地运行前沿开放权重。Dwarf Star 4是一个窄C推理引擎，适用于高内存Mac、CUDA和ROCm机器。它支持Deep Seek V4和V4.1 Flash、GLM 5.x和Qwen3.8 Flash Next，包括文本和视觉模型、本地API、CLI和原生代理，集成在一个栈中。

支持：DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT许可证· C / METAL / CUDA / ROCM· QWEN在64GB原则。2840亿参数的Deep Seek V4 Flash是一个大型混合专家模型。ds4从远程服务的相反约束出发。非对称量化针对路由专家，同时保留关键路径，使模型在高内存机器上实用。

本地引擎提供CLI、HTTP API和原生代理，共享相同的模型状态和缓存。ds4不是通用的GGUF运行器；它遵循一小部分机会主义的模型家族，并端到端验证每个支持的布局。核心功能包括非对称2位量化、KV缓存作为磁盘公民，以及一个引擎三种接口：./ds4用于聊天，./ds4-server用于本地API，./ds4-agent用于持久编码会话。

运行ds4只需三步：下载项目GGUF，为你的后端构建，然后启动CLI或服务器。硬件适配包括M5 Max、128 GB等平台，实现34.4 T/S生成和557 T/S预填充。ds4-server支持OpenAI和Anthropic风格的API，使本地编码代理能够连接到你的机器。

关键实体：公司：Deep Seek、GLM、Qwen、Dwarf Star