Janas-LLM ने 32GB लैपटॉप पर Qwen3-Next-80B (48 GB) को 37 tok/s की दर से संसाधित किया, जबकि llama.cpp केवल 2.8 tok/s पर था। प्रॉम्प्ट पढ़ने पर यह 62 tok/s तक पहुंचता है, जबकि llama.cpp 16 tok/s पर रहता है। Debian 13 Linux पर Intel Core Ultra 9 185H और एकीत Arc GPU के साथ परीक्षण किया गया, Janas-LLM ने Q4_K_M में तुलना किए गए 13 मॉडलों में से हर एक में llama.cpp से बेहतर प्रदर्शन किया। सिस्टम रैम से बड़े मॉडल NVMe SSD से आवश्यक एक्सपर्ट वेट्स स्ट्रीम करके चलते हैं जबकि सक्रिय मॉडल मेमोरी में रखे जाते हैं। यह टूल C भाषा में लिखा गया है और C लाइब्रेरी के अलावा कोई निर्भरता नहीं है। मौरिजियो "कामाउरी" कैमरलेरी द्वारा डिजाइन किया गया, जानस प्रायोगिक सॉफ्टवेयर है और प्रारंभिक विकास में है। Linux x86-64 और Windows 10/11 (x86-64) के लिए बिल्ड उपलब्ध हैं। Windows 11 पर, Janas-LLM ने Linux के समान प्रदर्शन दिखाया। सार्वजनिक API और कमांड लाइन बिना सूचना के बदल सकती हैं, हालांकि प्रकाशित .jns मॉडल फाइलें वर्षों के बीच संगत रहती हैं।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित