Janas-LLM traite Qwen3-Next-80B (48 Go) à 37 tok/s sur un portable de 32 Go, contre 2,8 tok/s pour llama.cpp. La lecture d'un prompt atteint 62 tok/s contre 16 tok/s. Testé sur Debian 13 Linux avec un Intel Core Ultra 9 185H et une GPU Arc intégrée, Janas-LLM a surpassé llama.cpp sur les 13 modèles comparés en Q4_K_M.
Les modèles plus grands que la RAM du système fonctionnent en diffusant les experts depuis un SSD NVMe tout en maintenant les actifs en mémoire. L'outil est écrit en C sans dépendances au-delà de la bibliothèque C. Conçu par Maurizio "camauri" Cammalleri, Janas est un logiciel expérimental en développement précoce.
Les compilations sont disponibles pour Linux x86-64 et Windows 10/11 (x86-64). Sur Windows 11, Janas-LLM a égalé les performances de Linux. L'API publique et la ligne de commande peuvent changer sans préavis, bien que les fichiers de modèle .jns publiés restent compatibles entre versions.
Source: Hacker News · Résumé par HeadlinesBriefing