Janas-LLM processa Qwen3-Next-80B (48 GB) a 37 tok/s em um laptop de 32 GB, contra 2,8 tok/s do llama.cpp. A leitura de um prompt atinge 62 tok/s contra 16 tok/s. Testado no Debian 13 Linux com um Intel Core Ultra 9 185H e GPU Arc integrada, Janas-LLM superou o llama.cpp em todos os 13 modelos comparados no Q4_K_M.
Modelos maiores que a RAM do sistema são executados transmitindo especialistas de um SSD NVMe enquanto mantém os ativos em memória. A ferramenta está escrita em C sem dependências além da biblioteca C. Projetada por Maurizio "camauri" Cammalleri, o Janas é um software experimental em desenvolvimento inicial.
As builds estão disponíveis para Linux x86-64 e Windows 10/11 (x86-64). No Windows 11, o Janas-LLM igualou o desempenho do Linux. A API pública e a linha de comando podem mudar sem aviso, embora os arquivos de modelo .jns publicados permaneçam compatíveis entre versões.
Fonte: Hacker News · Resumido por HeadlinesBriefing