Janus एक एकल Go बाइनरी है जो आपकी मशीन (GPU या CPU) पर .gguf मॉडल चलाता है और एक Open AI-संगत API प्रदान करता है। Python, Docker या Ollama की आवश्यकता नहीं है। इसे अपने तरीके से उपयोग करें: कमांड लाइन (curl, Power Shell, स्क्रिप्ट) से कॉल करें, इसे Cursor / Cline / किसी भी Open AI क्लाइंट से जोड़ें — समान स्थानीय मॉडल, आपके लिए उपयुक्त वर्कफ़्लो।
आपको जो मिलता है उसमें llama.cpp के माध्यम से Vulkan (AMD / Intel / NVIDIA) या CPU फ़ॉलबैक के माध्यम से स्थानीय अनुमान, /v1/chat/completions और /v1/models जैसे एंडपॉइंट के साथ Open AI-संगत API, बिना पुनरारंभ किए मॉडल हॉट-स्वैप, तर्क विभाजन के साथ सोच मॉडल समर्थन, GGUF मेटाडेटा से चैट टेम्पलेट ऑटो-डिटेक्शन और शून्य निर्भरताएँ शामिल हैं — Windows पर एक .exe।
आवश्यकताएँ: Windows 10/11 Go 1.22+ और Vulkan-सक्षम GPU के साथ अनुशंसित, Linux Go 1.22+ और Vulkan या CPU के साथ, या macOS Go 1.22+ और CPU बैकएंड के साथ। डिस्क स्थान में मॉडल आकार (अक्सर प्रति मॉडल 2–8 GB) और Janus + llama.dll के लिए ~50 MB शामिल है। त्वरित प्रारंभ में रिपॉजिटरी क्लोन करना, build.ps1 के साथ बिल्ड करना, .gguf फ़ाइल डाउनलोड करना, .env फ़ाइल कॉन्फ़िगर करना (जैसे, INFERENCE_BACKEND=vulkan, JANUS_MODEL_PATH), और 127.0.0.1:8990 पर सर्वर चलाना शामिल है।
प्रोजेक्ट लेआउट में मुख्य सर्वर के लिए cmd/janus/, मॉडल डाउनलोड करने के लिए cmd/modelget/, और llama.cpp Vulkan रनर के लिए internal/engine/ शामिल है। समस्याओं में पोर्ट 8990 पर कोई बची हुई प्रक्रिया नहीं होना, सही JANUS_MODEL_PATH और अपडेटेड GPU ड्राइवर सुनिश्चित करना शामिल है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित