Janas-LLM procesa Qwen3-Next-80B (48 GB) a 37 tok/s en una portátil de 32 GB, frente a 2.8 tok/s de llama.cpp. La lectura de un prompt alcanza 62 tok/s frente a 16 tok/s. Probado en Debian 13 Linux con un Intel Core Ultra 9 185H y GPU Arc integrada, Janas-LLM superó a llama.cpp en los 13 modelos comparados en Q4_K_M.
Los modelos más grandes que la RAM del sistema se ejecutan transmitiendo expertos desde un SSD NVMe mientras se mantienen los activos en memoria. La herramienta está escrita en C sin dependencias más allá de la biblioteca C. Diseñada por Maurizio "camauri" Cammalleri, Janas es software experimental en desarrollo temprano.
Las compilaciones están disponibles para Linux x86-64 y Windows 10/11 (x86-64). En Windows 11, Janas-LLM igualó el rendimiento de Linux. La API pública y la línea de comando pueden cambiar sin aviso, aunque los archivos de modelo .jns publicados siguen siendo compatibles entre versiones.
Fuente: Hacker News · Resumido por HeadlinesBriefing