Привет, HN, это Андерс и Том. Мы создаём Magnitude — движок вывода для агентов, который оптимизирует себя для максимально быстрой работы на вашем оборудовании. Он работает на Mac, Linux и Windows на любом оборудовании и до 2 раз быстрее, чем llama.cpp.

Мы оба инженеры-программисты и ранее создали агента для браузера с открытым исходным кодом с более чем 4 тыс. звёзд на GitHub и более 100 тыс. загрузок. Мы всё больше хотели запускать его на локальных моделях, но обнаружили, что ни один движок вывода не подходит для нашего случая.

Современные движки вывода все идут на компромисс в производительности. Они либо созданы для пакетного вывода на оборудовании центров обработки данных в ущерб производительности одиночного сеанса (vLLM, SGLang), либо предназначены для широкой совместимости вместо оптимизации под конкретное оборудование (llama.cpp, Ollama), либо специализированы для конкретного оборудования или моделей, но не обладают полнотой движка (oMLX, ds4). Кроме того, ни один из них не предназначен для локального запуска агентов.

Magnitude создан для максимальной производительности на вашем оборудовании и для запуска локальных агентов. Он включает компиляцию и настройку на устройстве, фокус на лучших архитектурах, динамическое выделение памяти и гибридное страничное внимание. Он полностью открыт (Apache 2.0), написан на Rust, и бенчмарки показывают до 92% быстрее декодирование на Metal и 19% быстрее на CUDA по сравнению с llama.cpp.

Magnitude поставляется как настольное приложение, которое подключается к таким агентам, как Pi, OpenCode, Hermes и Codex. Будущие планы включают потоковую передачу экспертов, компилятор ядер и использование нескольких устройств.