Janus একটি একক Go বাইনারি যা আপনার মেশিনে (GPU বা CPU) .gguf মডেল চালায় এবং একটি Open AI-সামঞ্জস্যপূর্ণ API প্রদান করে। Python, Docker বা Ollama প্রয়োজন নেই। এটি আপনার পছন্দমতো ব্যবহার করুন: কমান্ড লাইন (curl, Power Shell, স্ক্রিপ্ট) থেকে কল করুন, এটি Cursor / Cline / যেকোনো Open AI ক্লায়েন্টের সাথে সংযুক্ত করুন — একই স্থানীয় মডেল, আপনার জন্য উপযুক্ত ওয়ার্কফ্লো।
আপনি যা পান তার মধ্যে রয়েছে llama.cpp এর মাধ্যমে Vulkan (AMD / Intel / NVIDIA) বা CPU ফলব্যাকের মাধ্যমে স্থানীয় ইনফারেন্স, /v1/chat/completions এবং /v1/models এর মতো এন্ডপয়েন্ট সহ Open AI-সামঞ্জস্যপূর্ণ API, পুনরায় চালু না করেই মডেল হট-সোয়াপ, যুক্তি বিভাজন সহ থিংকিং মডেল সমর্থন, GGUF মেটাডেটা থেকে চ্যাট টেমপ্লেট অটো-ডিটেকশন এবং শূন্য নির্ভরতা — Windows-এ একটি .exe।
প্রয়োজনীয়তা: Windows 10/11 Go 1.22+ এবং Vulkan-সক্ষম GPU সহ সুপারিশকৃত, Linux Go 1.22+ এবং Vulkan বা CPU সহ, বা macOS Go 1.22+ এবং CPU ব্যাকএন্ড সহ। ডিস্ক স্পেসে মডেলের আকার (প্রায়ই প্রতি মডেল 2–8 GB) এবং Janus + llama.dll এর জন্য ~50 MB অন্তর্ভুক্ত। দ্রুত শুরুতে রিপোজিটরি ক্লোন করা, build.ps1 দিয়ে বিল্ড করা, .gguf ফাইল ডাউনলোড করা, .env ফাইল কনফিগার করা (যেমন, INFERENCE_BACKEND=vulkan, JANUS_MODEL_PATH), এবং 127.0.0.1:8990 এ সার্ভার চালানো অন্তর্ভুক্ত।
প্রকল্পের লেআউটে প্রধান সার্ভারের জন্য cmd/janus/, মডেল ডাউনলোডের জন্য cmd/modelget/, এবং llama.cpp Vulkan রানারের জন্য internal/engine/ অন্তর্ভুক্ত। সমস্যার মধ্যে রয়েছে পোর্ট 8990 এ কোনো অবশিষ্ট প্রক্রিয়া না থাকা, সঠিক JANUS_MODEL_PATH এবং আপডেটেড GPU ড্রাইভার নিশ্চিত করা।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing