Janas-LLM memproses Qwen3-Next-80B (48 GB) di 37 tok/s pada laptop 32 GB, dibandingkan 2,8 tok/s llama.cpp. Membaca prompt mencapai 62 tok/s versus 16 tok/s. Diuji pada Debian 13 Linux dengan Intel Core Ultra 9 185H dan GPU Arc terintegrasi, Janas-LLM mengalahkan llama.cpp pada semua 13 model yang dibandingkan dalam Q4_K_M.
Model yang lebih besar dari RAM sistem berjalan dengan streaming expert dari NVMe SSD sementara yang aktif dipertahankan di memori. Alat ini ditulis dalam C tanpa dependensi selain library C. Dirancang oleh Maurizio "camauri" Cammalleri, Janas adalah perangkat lunak eksperimental dalam pengembangan awal.
Build tersedia untuk Linux x86-64 dan Windows 10/11 (x86-64). Pada Windows 11, Janas-LLM mencocokkan kinerja Linux. API publik dan baris perintah dapat berubah tanpa pemberitahuan, meskipun file model .jns yang dipublikasikan tetap kompatibel antar versi.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing