DS4 · INFERENSI FRONTIER LOKAL Jalankan bobot terbuka frontier secara lokal dengan ds4. Dwarf Star 4 adalah mesin inferensi C sempit untuk mesin Mac memori tinggi, CUDA, dan ROCm. Ini mendukung Deep Seek V4 dan V4.1 Flash, GLM 5.x dan Qwen3.8 Flash Next, dengan model teks dan visi, API lokal, CLI, dan agen asli dalam satu tumpukan.
DIDUKUNG: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · LISENSI MIT· C / METAL / CUDA / ROCM· PRINSIP QWEN PADA 64GB. Model Deep Seek V4 Flash dengan 284 miliar parameter adalah model campuran-ahli besar. ds4 dimulai dari kendala kebalikan dari pelayanan jarak jauh. Kuantisasi asimetris menargetkan ahli yang dirutekan sambil mempertahankan jalur kritis, membuat model praktis pada mesin memori tinggi.
Mesin lokal mengekspos CLI, API HTTP, dan agen asli, semuanya berbagi status model dan cache yang sama. ds4 bukan pelari GGUF generik; ia mengikuti sekumpulan kecil keluarga model yang oportunistik dan memvalidasi setiap tata letak yang didukung dari ujung ke ujung. Fitur inti termasuk kuantisasi 2-bit asimetris, cache KV sebagai warga disk, dan satu mesin dengan tiga antarmuka: ./ds4 untuk obrolan, ./ds4-server untuk API lokal, dan ./ds4-agent untuk sesi pengkodean persisten.
Jalankan ds4 dalam tiga langkah: unduh GGUF proyek, bangun untuk backend Anda, lalu mulai CLI atau server. Kecocokan perangkat keras mencakup platform seperti M5 Max, 128 GB yang mencapai 34,4 T/S generasi dan 557 T/S prefill. ds4-server berbicara API gaya OpenAI dan Anthropic, memungkinkan agen pengkodean lokal terhubung ke mesin Anda sendiri.
Entitas Kunci: Perusahaan: Deep Seek, GLM, Qwen, Dwarf Star
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing