DS4 · الاستدلال المحلي المتقدم قم بتشغيل الأوزان المفتوحة المتقدمة محليًا باستخدام ds4. Dwarf Star 4 هو محرك استدلال C ضيق لأجهزة Mac عالية الذاكرة وCUDA وROCm. وهو يدعم Deep Seek V4 وV4.1 Flash وGLM 5.x وQwen3.8 Flash Next، مع نماذج النصوص والرؤية وواجهات برمجة تطبيقات محلية وCLI ووكيل أصلي في حزمة واحدة.
مدعوم: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · رخصة MIT· C / METAL / CUDA / ROCM· مبدأ QWEN على 64GB. نموذج Deep Seek V4 Flash ذو 284 مليار معلمة هو نموذج كبير مختلط الخبراء. يبدأ ds4 من القيد المعاكس للخدمة عن بُعد. يستهدف التكميم غير المتماثل الخبراء الموجهين مع الحفاظ على المسارات الحرجة، مما يجعل النموذج عمليًا على الأجهزة عالية الذاكرة.
يكشف المحرك المحلي عن CLI وواجهات برمجة تطبيقات HTTP ووكيل أصلي، جميعها تشارك نفس حالة النموذج والذاكرة المؤقتة. ds4 ليس مشغل GGUF عامًا؛ فهو يتبع مجموعة صغيرة وانتهازية من عائلات النماذج ويتحقق من كل تخطيط مدعوم من البداية إلى النهاية. تشمل الميزات الأساسية التكميم غير المتماثل 2-بت، وذاكرة KV كمواطن قرص، ومحرك واحد بثلاث واجهات: ./ds4 للدردشة، و./ds4-server لواجهات برمجة التطبيقات المحلية، و./ds4-agent لجلسات البرمجة المستمرة.
قم بتشغيل ds4 في ثلاث خطوات: قم بتنزيل GGUF المشروع، وقم بالبناء لخلفيتك، ثم ابدأ CLI أو الخادم. يشمل توافق الأجهزة منصات مثل M5 Max، 128 جيجابايت التي تحقق 34.4 T/S للتوليد و557 T/S للتمهيد. يتحدث ds4-server واجهات برمجة تطبيقات بأسلوب OpenAI وAnthropic، مما يتيح لوكلاء البرمجة المحليين الاتصال بجهازك الخاص.
الكيانات الرئيسية: الشركات: Deep Seek، GLM، Qwen، Dwarf Star
المصدر: Hacker News · لخّصه HeadlinesBriefing