DS4 · स्थानीय फ्रंटियर इन्फ्रेंस ds4 के साथ स्थानीय रूप से फ्रंटियर ओपन वेट चलाएं। Dwarf Star 4 उच्च-मेमोरी Mac, CUDA और ROCm मशीनों के लिए एक संकीर्ण C इन्फ्रेंस इंजन है। यह Deep Seek V4 और V4.1 Flash, GLM 5.x और Qwen3.8 Flash Next का समर्थन करता है, जिसमें टेक्स्ट और विज़न मॉडल, स्थानीय API, CLI और एक मूल एजेंट एक स्टैक में शामिल हैं।
समर्थित: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT लाइसेंस· C / METAL / CUDA / ROCM· QWEN 64GB सिद्धांत पर। 284-बिलियन-पैरामीटर Deep Seek V4 Flash एक बड़ा मिश्रण-ऑफ-एक्सपर्ट्स मॉडल है। ds4 दूरस्थ सेवा की विपरीत बाधा से शुरू होता है। असममित क्वांटाइज़ेशन रूटेड एक्सपर्ट्स को लक्षित करता है जबकि महत्वपूर्ण पथों को संरक्षित करता है, जिससे मॉडल उच्च-मेमोरी मशीनों पर व्यावहारिक हो जाता है।
स्थानीय इंजन CLI, HTTP API और एक मूल एजेंट को उजागर करता है, सभी एक ही मॉडल स्थिति और कैश साझा करते हैं। ds4 एक सामान्य GGUF रनर नहीं है; यह मॉडल परिवारों के एक छोटे, अवसरवादी सेट का अनुसरण करता है और प्रत्येक समर्थित लेआउट को अंत-से-अंत तक मान्य करता है। मुख्य विशेषताओं में असममित 2-बिट क्वांटाइज़ेशन, डिस्क नागरिक के रूप में KV कैश, और तीन इंटरफेस वाला एक इंजन शामिल है: ./ds4 चैट के लिए, ./ds4-server स्थानीय API के लिए और ./ds4-agent लगातार कोडिंग सत्रों के लिए।
ds4 को तीन चरणों में चलाएं: प्रोजेक्ट GGUF डाउनलोड करें, अपने बैकएंड के लिए बिल्ड करें, फिर CLI या सर्वर शुरू करें। हार्डवेयर फिट में M5 Max, 128 GB जैसे प्लेटफॉर्म शामिल हैं जो 34.4 T/S जनरेशन और 557 T/S प्रीफिल प्राप्त करते हैं। ds4-server OpenAI और Anthropic-शैली API बोलता है, जिससे स्थानीय कोडिंग एजेंट आपकी अपनी मशीन से जुड़ सकते हैं।
प्रमुख संस्थाएं: कंपनियां: Deep Seek, GLM, Qwen, Dwarf Star
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित