DS4 · স্থানীয় ফ্রন্টিয়ার ইনফারেন্স ds4 দিয়ে স্থানীয়ভাবে ফ্রন্টিয়ার ওপেন ওয়েট চালান। Dwarf Star 4 হল উচ্চ-মেমরি Mac, CUDA এবং ROCm মেশিনের জন্য একটি সংকীর্ণ C ইনফারেন্স ইঞ্জিন। এটি Deep Seek V4 এবং V4.1 Flash, GLM 5.x এবং Qwen3.8 Flash Next সমর্থন করে, টেক্সট এবং ভিশন মডেল, স্থানীয় API, CLI এবং একটি নেটিভ এজেন্ট এক স্ট্যাকে।
সমর্থিত: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT লাইসেন্স· C / METAL / CUDA / ROCM· QWEN 64GB নীতিতে। 284-বিলিয়ন-প্যারামিটার Deep Seek V4 Flash একটি বড় মিক্সচার-অফ-এক্সপার্টস মডেল। ds4 দূরবর্তী সার্ভিংয়ের বিপরীত সীমাবদ্ধতা থেকে শুরু হয়। অ্যাসিমেট্রিক কোয়ান্টাইজেশন রাউটেড এক্সপার্টদের লক্ষ্য করে যখন গুরুত্বপূর্ণ পথ সংরক্ষণ করে, মডেলটিকে উচ্চ-মেমরি মেশিনে ব্যবহারিক করে তোলে।
স্থানীয় ইঞ্জিন CLI, HTTP API এবং একটি নেটিভ এজেন্ট প্রকাশ করে, সব একই মডেল স্টেট এবং ক্যাশ ভাগ করে। ds4 একটি সাধারণ GGUF রানার নয়; এটি মডেল পরিবারের একটি ছোট, সুবিধাবাদী সেট অনুসরণ করে এবং প্রতিটি সমর্থিত লেআউট শেষ থেকে শেষ পর্যন্ত বৈধ করে। মূল বৈশিষ্ট্যগুলির মধ্যে রয়েছে অ্যাসিমেট্রিক 2-বিট কোয়ান্টাইজেশন, ডিস্ক নাগরিক হিসাবে KV ক্যাশ, এবং তিনটি ইন্টারফেস সহ একটি ইঞ্জিন: ./ds4 চ্যাটের জন্য, ./ds4-server স্থানীয় API-এর জন্য এবং ./ds4-agent স্থায়ী কোডিং সেশনের জন্য।
তিন ধাপে ds4 চালান: প্রকল্প GGUF ডাউনলোড করুন, আপনার ব্যাকএন্ডের জন্য বিল্ড করুন, তারপর CLI বা সার্ভার শুরু করুন। হার্ডওয়্যার ফিটের মধ্যে M5 Max, 128 GB-এর মতো প্ল্যাটফর্ম অন্তর্ভুক্ত যা 34.4 T/S জেনারেশন এবং 557 T/S প্রিফিল অর্জন করে। ds4-server OpenAI এবং Anthropic-স্টাইল API বলে, স্থানীয় কোডিং এজেন্টদের আপনার নিজের মেশিনে সংযোগ করতে সক্ষম করে।
মূল সত্তা: কোম্পানি: Deep Seek, GLM, Qwen, Dwarf Star
উৎস: Hacker News · সারাংশ: HeadlinesBriefing