Janas-LLM 32GB ল্যাপটপে Qwen3-Next-80B (48 GB)-কে 37 tok/s এ প্রক্রিয়া করে, যেখানে llama.cpp কেবল 2.8 tok/s এ। প্রম্প্ট পড়ায় এটি 62 tok/s পায় যেখানে llama.cpp 16 tok/s এ। Debian 13 Linux এ Intel Core Ultra 9 185H এবং একটি একীভূত Arc GPU সহ পরীক্ষা করা হয়েছে, Janas-LLM Q4_K_M এ তুলনা করা 13টি মডেলের প্রতিটিতে llama.cpp-কে পরাজিত করেছে। সিস্টেম র্যামের চেয়ে বড় মডেলগুলো NVMe SSD থেকে প্রয়োজনীয় এক্সপার্টদের ওজন স্ট্রিম করে চলে যেখানে সক্রিয় মডেলগুলো মেমোরিতে রাখা হয়। এই টুলটি C ভাষায় লেখা হয়েছে এবং C লাইব্রেরি ছাড়া অন্য কোনো নির্ভরতা নেই। মৌরিজিও "কামাউরি" ক্যাম্মারলেরি দ্বারা ডিজাইন করা, Janas একটি প্রয়োগিক সফ্টওয়ার যা প্রারম্ভিক বিকাশে আছে। Linux x86-64 এবং Windows 10/11 (x86-64) এর জন্য বিল্ড সংগ্রহযোগ্য। Windows 11 এ, Janas-LLM Linux এর প্রদর্শনের সাথে তাল মিলিয়েছে। পাবলিক API এবং কমান্ড লাইন বিনা জানানো পরিবর্তন হতে পারে, তবে প্রকাশিত .jns মডেল ফাইলগুলো ভার্সনের মধ্যে সংগতি রাখে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing