Janas-LLM обрабатывает Qwen3-Next-80B (48 ГБ) со скоростью 37 tok/s на ноутбуке с 32 ГБ, против 2,8 tok/s у llama.cpp. При чтении промпта скорость достигает 62 tok/s против 16 tok/s. Тестирование проводилось на Debian 13 Linux с Intel Core Ultra 9 185H и интегрированной GPU Arc, при этом Janas-LLM превзошел llama.cpp по всем 13 моделям в сравнении Q4_K_M. Модели, превышающие объем системной памяти, работают за счет потоковой передачи экспертов с NVMe SSD при сохранении активных в оперативной памяти. Инструмент написан на C без зависимостей, кроме стандартной библиотеки C. Разработано Мауризио "каури" Каммарелли, Janas является экспериментальным программным обеспечением на ранней стадии разработки. Сборки доступны для Linux x86-64 и Windows 10/11 (x86-64). В Windows 11 производительность Janas-LLM соответствовала Linux. Публичный API и командная строка могут изменяться без уведомления, хотя опубликованные файлы моделей .jns остаются совместимыми между версиями.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing