Janas: Run LLMs larger than RAM by streaming experts from SSD
🇬🇧 English
Janas-LLM processes Qwen3-Next-80B (48 GB) at 37 tok/s on a 32 GB laptop, compared to llama.cpp's 2.8 tok/s. Reading a prompt hits 62 tok/s versus 16 tok/s. Tested on Debian 13 Linux with an Intel Core Ultra 9 185H and integrated Arc GPU, Janas-LLM outperformed llama.cpp on all 13 models compared in Q4_K_M.
Models larger than system RAM run by streaming experts from an NVMe SSD while keeping active ones in memory. The tool is written in C with no dependencies beyond the C library. Designed by Maurizio "camauri" Cammalleri, Janas is experimental software in early development.
Builds are available for Linux x86-64 and Windows 10/11 (x86-64). On Windows 11, Janas-LLM matched Linux performance. The public API and command line may change without notice, though published .jns model files remain compatible across versions.
🇸🇦 العربية
Janas-LLM يتفوق على llama.cpp في نموذج 80B
يعالج Janas-LLM نموذج Qwen3-Next-80B (48 جيجا) بـ 37 tok/s على جهاز كمبيوت portable سعة 32 جيجا، مقارنة بـ 2.8 tok/s من llama.cpp. عند قراءة نص دخول، يصل إلى 62 tok/s مقابل 16 tok/s. تم الاختبار على نظام Debian 13 Linux بموازن Intel Core Ultra 9 185H و_card رسم مدمج Arc، وتفوق Janas-LLM على llama.cpp في جميع النماذج الـ13 التي تم مقارنتها بـ Q4_K_M. النماذج الأكبر من ذاكرة النظام ت运转 عن طريق بث Experts من SSD NVMe مع الاحتفاظ بالنشطة في الذاكره. الأداة مكتوبة باللغة C دون ا 의يات Beyond مكتبة C. صممه Maurizio "camauri" Cammalleri، Janas هو برمجات تجريبية في مراحلها المبكرة. الت Builds متاحة لـ Linux x86-64 و Windows 10/11 (x86-64). على Windows 11، تطابق Janas-LLM أداء Linux. الـAPI العام وخط أوام-command قد يتغيران دون إخطار، رغم أن الملفات المخزنة .jns تظل متوافقة عبر الإصدارات.
كيف يدير Janas-LLM النماذج الأكبر من الذاكره؟
يعرض Janas-LLM Experts المطلوب من SSD NVMe حسب الطلب، مع الاحتفاظ بالExperts المتكررة في الذاكره. يسمح هذا لrun نماذج 48 جيجا على جهاز كمبيوت portable سعة 32 جيجا، مع _card الرسم Arc المدمج يعجّل الكتل الكثيفة عبر Intel drivers.
🇧🇩 বাংলা
Janas-LLM 80B মডেলে llama.cpp-কে পরাজিত করেছে
Janas-LLM 32GB ল্যাপটপে Qwen3-Next-80B (48 GB)-কে 37 tok/s এ প্রক্রিয়া করে, যেখানে llama.cpp কেবল 2.8 tok/s এ। প্রম্প্ট পড়ায় এটি 62 tok/s পায় যেখানে llama.cpp 16 tok/s এ। Debian 13 Linux এ Intel Core Ultra 9 185H এবং একটি একীভূত Arc GPU সহ পরীক্ষা করা হয়েছে, Janas-LLM Q4_K_M এ তুলনা করা 13টি মডেলের প্রতিটিতে llama.cpp-কে পরাজিত করেছে। সিস্টেম র্যামের চেয়ে বড় মডেলগুলো NVMe SSD থেকে প্রয়োজনীয় এক্সপার্টদের ওজন স্ট্রিম করে চলে যেখানে সক্রিয় মডেলগুলো মেমোরিতে রাখা হয়। এই টুলটি C ভাষায় লেখা হয়েছে এবং C লাইব্রেরি ছাড়া অন্য কোনো নির্ভরতা নেই। মৌরিজিও "কামাউরি" ক্যাম্মারলেরি দ্বারা ডিজাইন করা, Janas একটি প্রয়োগিক সফ্টওয়ার যা প্রারম্ভিক বিকাশে আছে। Linux x86-64 এবং Windows 10/11 (x86-64) এর জন্য বিল্ড সংগ্রহযোগ্য। Windows 11 এ, Janas-LLM Linux এর প্রদর্শনের সাথে তাল মিলিয়েছে। পাবলিক API এবং কমান্ড লাইন বিনা জানানো পরিবর্তন হতে পারে, তবে প্রকাশিত .jns মডেল ফাইলগুলো ভার্সনের মধ্যে সংগতি রাখে।
Janas-LLM কিভাবে র্যামের চেয়ে বড় মডেল চালায়?
Janas-LLM প্রয়োজনীয় এক্সপার্টদের ওজন NVMe SSD থেকে প্রয়োজনে স্ট্রিম করে এবং অক্সরবার ব্যবহৃত এক্সপার্টদের মেমোরিতে রাখে। এটি 32GB ল্যাপটোপে 48GB মডেল চালানোর অনুমতি দেয়, এবং একীভূত Arc GPU Intel ড্রাইভারের মাধ্যমে ঘন ব্লকগুলো ত্বরান্বিত করে।
🇪🇸 Español
Janas-LLM supera a llama.cpp en modelo de 80B
Janas-LLM procesa Qwen3-Next-80B (48 GB) a 37 tok/s en una portátil de 32 GB, frente a 2.8 tok/s de llama.cpp. La lectura de un prompt alcanza 62 tok/s frente a 16 tok/s. Probado en Debian 13 Linux con un Intel Core Ultra 9 185H y GPU Arc integrada, Janas-LLM superó a llama.cpp en los 13 modelos comparados en Q4_K_M.
Los modelos más grandes que la RAM del sistema se ejecutan transmitiendo expertos desde un SSD NVMe mientras se mantienen los activos en memoria. La herramienta está escrita en C sin dependencias más allá de la biblioteca C. Diseñada por Maurizio "camauri" Cammalleri, Janas es software experimental en desarrollo temprano.
Las compilaciones están disponibles para Linux x86-64 y Windows 10/11 (x86-64). En Windows 11, Janas-LLM igualó el rendimiento de Linux. La API pública y la línea de comando pueden cambiar sin aviso, aunque los archivos de modelo .jns publicados siguen siendo compatibles entre versiones.
¿Cómo ejecuta Janas-LLM modelos más grandes que la RAM?
Janas-LLM transmite los pesos de expertos necesarios desde un SSD NVMe bajo demanda, manteniendo los expertos frecuentes en memoria. Esto permite ejecutar modelos de 48 GB en una portátil de 32 GB, con la GPU Arc integrada acelerando los bloques densos mediante controladores Intel.
🇫🇷 Français
Janas-LLM bat llama.cpp sur le modèle 80B
Janas-LLM traite Qwen3-Next-80B (48 Go) à 37 tok/s sur un portable de 32 Go, contre 2,8 tok/s pour llama.cpp. La lecture d'un prompt atteint 62 tok/s contre 16 tok/s. Testé sur Debian 13 Linux avec un Intel Core Ultra 9 185H et une GPU Arc intégrée, Janas-LLM a surpassé llama.cpp sur les 13 modèles comparés en Q4_K_M.
Les modèles plus grands que la RAM du système fonctionnent en diffusant les experts depuis un SSD NVMe tout en maintenant les actifs en mémoire. L'outil est écrit en C sans dépendances au-delà de la bibliothèque C. Conçu par Maurizio "camauri" Cammalleri, Janas est un logiciel expérimental en développement précoce.
Les compilations sont disponibles pour Linux x86-64 et Windows 10/11 (x86-64). Sur Windows 11, Janas-LLM a égalé les performances de Linux. L'API publique et la ligne de commande peuvent changer sans préavis, bien que les fichiers de modèle .jns publiés restent compatibles entre versions.
Comment Janas-LLM exécute-t-il des modèles plus grands que la RAM ?
Janas-LLM diffuse les poids des experts nécessaires depuis un SSD NVMe à la demande, en maintenant les experts fréquemment utilisés en mémoire. Cela permet à des modèles de 48 Go de fonctionner sur un portable de 32 Go, avec la GPU Arc intégrée accélérant les blocs denses via les pilotes Intel.
🇮🇳 हिन्दी
Janas-LLM ने 80B मॉडल में llama.cpp से बेहतर प्रदर्शन किया
Janas-LLM ने 32GB लैपटॉप पर Qwen3-Next-80B (48 GB) को 37 tok/s की दर से संसाधित किया, जबकि llama.cpp केवल 2.8 tok/s पर था। प्रॉम्प्ट पढ़ने पर यह 62 tok/s तक पहुंचता है, जबकि llama.cpp 16 tok/s पर रहता है। Debian 13 Linux पर Intel Core Ultra 9 185H और एकीत Arc GPU के साथ परीक्षण किया गया, Janas-LLM ने Q4_K_M में तुलना किए गए 13 मॉडलों में से हर एक में llama.cpp से बेहतर प्रदर्शन किया। सिस्टम रैम से बड़े मॉडल NVMe SSD से आवश्यक एक्सपर्ट वेट्स स्ट्रीम करके चलते हैं जबकि सक्रिय मॉडल मेमोरी में रखे जाते हैं। यह टूल C भाषा में लिखा गया है और C लाइब्रेरी के अलावा कोई निर्भरता नहीं है। मौरिजियो "कामाउरी" कैमरलेरी द्वारा डिजाइन किया गया, जानस प्रायोगिक सॉफ्टवेयर है और प्रारंभिक विकास में है। Linux x86-64 और Windows 10/11 (x86-64) के लिए बिल्ड उपलब्ध हैं। Windows 11 पर, Janas-LLM ने Linux के समान प्रदर्शन दिखाया। सार्वजनिक API और कमांड लाइन बिना सूचना के बदल सकती हैं, हालांकि प्रकाशित .jns मॉडल फाइलें वर्षों के बीच संगत रहती हैं।
Janas-LLM रैम से बड़े मॉडल कैसे चलाता है?
Janas-LLM आवश्यक एक्सपर्ट वेट्स को NVMe SSD से आवश्यकता के अनुसार स्ट्रीम करता है और अक्सर उपयोग किए जाने वाले एक्सपर्ट को मेमोरी में रखता है। यह 32GB लैपटॉप पर 48 GB के मॉडल चलाने की अनुमति देता है, जबकि एकीत Arc GPU Intel ड्राइवर्स के माध्यम से डेंस ब्लॉक्स को तेज करता है।
🇮🇩 Bahasa Indonesia
Janas-LLM mengalahkan llama.cpp pada model 80B
Janas-LLM memproses Qwen3-Next-80B (48 GB) di 37 tok/s pada laptop 32 GB, dibandingkan 2,8 tok/s llama.cpp. Membaca prompt mencapai 62 tok/s versus 16 tok/s. Diuji pada Debian 13 Linux dengan Intel Core Ultra 9 185H dan GPU Arc terintegrasi, Janas-LLM mengalahkan llama.cpp pada semua 13 model yang dibandingkan dalam Q4_K_M.
Model yang lebih besar dari RAM sistem berjalan dengan streaming expert dari NVMe SSD sementara yang aktif dipertahankan di memori. Alat ini ditulis dalam C tanpa dependensi selain library C. Dirancang oleh Maurizio "camauri" Cammalleri, Janas adalah perangkat lunak eksperimental dalam pengembangan awal.
Build tersedia untuk Linux x86-64 dan Windows 10/11 (x86-64). Pada Windows 11, Janas-LLM mencocokkan kinerja Linux. API publik dan baris perintah dapat berubah tanpa pemberitahuan, meskipun file model .jns yang dipublikasikan tetap kompatibel antar versi.
Bagaimana Janas-LLM menjalankan model yang lebih besar dari RAM?
Janas-LLM streaming expert weights dari NVme SSD sesuai kebutuhan, sementara expert yang sering digunakan dipertahankan di memori. Ini memungkinkan model 48 GB berjalan pada laptop 32 GB, dengan GPU Arc terintegrasi mempercepat blok densis melalui driver Intel.
🇯🇵 日本語
Janas-LLM、80Bモデルでllama.cppを上回る
Janas-LLMは32GBノートPCでQwen3-Next-80B（48 GB）を37 tok/sで処理し、llama.cppの2.8 tok/sを上回る。プロンプト読み込みでは62 tok/s対16 tok/s。Debian 13 Linux、Intel Core Ultra 9 185H、統合Arc GPUでテストされ、Janas-LLMはQ4_K_Mで比較された13モデルすべてでllama.cppを上回った。システムRAMより大きいモデルは、NVMe SSDから必要なエキスパートの重みをストリームwhileアクティブなモデルをメモリに保持することで動作する。このツールはC言語で書かれ、Cライブラリ以外に依存しない。Maurizio "camauri" Cammalleriによって設計されたJanasは、初期開発段階の実験的ソフトウェアである。Linux x86-64とWindows 10/11（x86-64）のビルドが利用可能で、Windows 11ではJanas-LLMの性能がLinuxにmatchした。パブリックAPIとコマンドラインは無通知で変更される可能性があるが、公開済みの.jnsモデルファイルはバージョン間で互換性がある。
Janas-LLMはRAMより大きいモデルをどうやって動作させるのか？
Janas-LLMは必要に応じてNVMe SSDからエキスパートの重みをストリームし、頻繁に使用されるエキスパートをメモリに保持する。これにより、32GBノートPCで48GBモデルを動作させ、統合Arc GPUがIntelドライバ経由で密度ブロックを加速する。
🇧🇷 Português
Janas-LLM supera llama.cpp no modelo 80B
Janas-LLM processa Qwen3-Next-80B (48 GB) a 37 tok/s em um laptop de 32 GB, contra 2,8 tok/s do llama.cpp. A leitura de um prompt atinge 62 tok/s contra 16 tok/s. Testado no Debian 13 Linux com um Intel Core Ultra 9 185H e GPU Arc integrada, Janas-LLM superou o llama.cpp em todos os 13 modelos comparados no Q4_K_M.
Modelos maiores que a RAM do sistema são executados transmitindo especialistas de um SSD NVMe enquanto mantém os ativos em memória. A ferramenta está escrita em C sem dependências além da biblioteca C. Projetada por Maurizio "camauri" Cammalleri, o Janas é um software experimental em desenvolvimento inicial.
As builds estão disponíveis para Linux x86-64 e Windows 10/11 (x86-64). No Windows 11, o Janas-LLM igualou o desempenho do Linux. A API pública e a linha de comando podem mudar sem aviso, embora os arquivos de modelo .jns publicados permaneçam compatíveis entre versões.
Como o Janas-LLM executa modelos maiores que a RAM?
O Janas-LLM transmite os pesos dos especialistas necessários de um SSD NVMe sob demanda, mantendo os especialistas frequentemente usados na memória. Isso permite que modelos de 48 GB sejam executados em um laptop de 32 GB, com a GPU Arc integrada acelerando os blocos densos via drivers Intel.
🇷🇺 Русский
Janas-LLM превосходит llama.cpp на модели 80B
Janas-LLM обрабатывает Qwen3-Next-80B (48 ГБ) со скоростью 37 tok/s на ноутбуке с 32 ГБ, против 2,8 tok/s у llama.cpp. При чтении промпта скорость достигает 62 tok/s против 16 tok/s. Тестирование проводилось на Debian 13 Linux с Intel Core Ultra 9 185H и интегрированной GPU Arc, при этом Janas-LLM превзошел llama.cpp по всем 13 моделям в сравнении Q4_K_M. Модели, превышающие объем системной памяти, работают за счет потоковой передачи экспертов с NVMe SSD при сохранении активных в оперативной памяти. Инструмент написан на C без зависимостей, кроме стандартной библиотеки C. Разработано Мауризио "каури" Каммарелли, Janas является экспериментальным программным обеспечением на ранней стадии разработки. Сборки доступны для Linux x86-64 и Windows 10/11 (x86-64). В Windows 11 производительность Janas-LLM соответствовала Linux. Публичный API и командная строка могут изменяться без уведомления, хотя опубликованные файлы моделей .jns остаются совместимыми между версиями.
Как Janas-LLM запускает модели, большие чем ОЗУ?
Janas-LLM потоково передает необходимые веса экспертов с NVme SSD по запросу, сохраняя часто используемых экспертов в памяти. Это позволяет запускать модели объемом 48 ГБ на ноутбуке с 32 ГБ, при этом интегрированная GPU Arc ускоряет плотные блоки через драйверы Intel.
🇨🇳 简体中文
Janas-LLM 在 80B 模型上击败 llama.cpp
Janas-LLM 在 32GB 笔记本上以 37 tok/s 的速度处理 Qwen3-Next-80B（48 GB），而 llama.cpp 仅为 2.8 tok/s。读取提示词时，Janas-LLM 达到 62 tok/s，llama.cpp 为 16 tok/s。测试环境为 Debian 13 Linux，搭载 Intel Core Ultra 9 185H 和集成 Arc GPU。Janas-LLM 在 Q4_K_M 格式下对比的 13 个模型中全面超越 llama.cpp。对于大于系统内存的模型，Janas-LLM 通过从 NVMe SSD 流式传输专家权重，同时将常用模型保留在内存中运行。该工具用 C 语言编写，仅依赖 C 标准库。由 Maurizio "camauri" Cammalleri 设计，Janas 属于实验性早期软件。支持 Linux x86-64 和 Windows 10/11（x86-64）构建。在 Windows 11 上，Janas-LLM 性能与 Linux 相当。公共 API 和命令行可能随时变更，但已发布的 .jns 模型文件在不同版本间保持兼容。
Janas-LLM 如何运行大于 RAM 的模型？
Janas-LLM 按需从 NVMe SSD 流式传输所需的专家权重，同时将常用专家保留在内存中。这使得 48 GB 的模型可以在 32 GB 笔记本上运行，集成 Arc GPU 通过 Intel 驱动加速密集块。