Janus adalah biner Go tunggal yang menjalankan model .gguf di mesin Anda (GPU atau CPU) dan mengekspos API yang kompatibel dengan Open AI. Tidak perlu Python, Docker, atau Ollama. Gunakan sesuai keinginan Anda: panggil dari baris perintah (curl, Power Shell, skrip), hubungkan ke Cursor / Cline / klien Open AI mana pun — model lokal yang sama, alur kerja apa pun yang cocok untuk Anda.
Apa yang Anda dapatkan termasuk inferensi lokal melalui llama.cpp melalui Vulkan (AMD / Intel / NVIDIA) atau fallback CPU, API kompatibel Open AI dengan titik akhir seperti /v1/chat/completions dan /v1/models, hot-swap model tanpa restart, dukungan model berpikir dengan pemisahan penalaran, deteksi otomatis template obrolan dari metadata GGUF, dan tanpa ketergantungan — satu .exe di Windows.
Persyaratan: Windows 10/11 dengan Go 1.22+ dan GPU berkemampuan Vulkan direkomendasikan, Linux dengan Go 1.22+ dan Vulkan atau CPU, atau macOS dengan Go 1.22+ dan backend CPU. Ruang disk termasuk ukuran model (sering 2–8 GB per model) ditambah ~50 MB untuk Janus + llama.dll. Memulai cepat melibatkan mengkloning repositori, membangun dengan build.ps1, mengunduh file .gguf, mengonfigurasi file .env (misalnya, INFERENCE_BACKEND=vulkan, JANUS_MODEL_PATH), dan menjalankan server di 127.0.0.1:8990.
Tata letak proyek mencakup cmd/janus/ untuk server utama, cmd/modelget/ untuk pengunduhan model, dan internal/engine/ untuk pelari Vulkan llama.cpp. Kendala termasuk memastikan tidak ada proses sisa yang menggunakan port 8990, JANUS_MODEL_PATH yang benar, dan driver GPU yang diperbarui.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing