Janas-LLMは32GBノートPCでQwen3-Next-80B（48 GB）を37 tok/sで処理し、llama.cppの2.8 tok/sを上回る。プロンプト読み込みでは62 tok/s対16 tok/s。Debian 13 Linux、Intel Core Ultra 9 185H、統合Arc GPUでテストされ、Janas-LLMはQ4_K_Mで比較された13モデルすべてでllama.cppを上回った。システムRAMより大きいモデルは、NVMe SSDから必要なエキスパートの重みをストリームwhileアクティブなモデルをメモリに保持することで動作する。このツールはC言語で書かれ、Cライブラリ以外に依存しない。Maurizio "camauri" Cammalleriによって設計されたJanasは、初期開発段階の実験的ソフトウェアである。Linux x86-64とWindows 10/11（x86-64）のビルドが利用可能で、Windows 11ではJanas-LLMの性能がLinuxにmatchした。パブリックAPIとコマンドラインは無通知で変更される可能性があるが、公開済みの.jnsモデルファイルはバージョン間で互換性がある。
出典: Hacker News · 要約：HeadlinesBriefing