Привет, Hacker News, это Anders и Tom. Мы создаём Magnitude — движок вывода для агентов, который оптимизирует себя для максимально быстрой работы на вашем оборудовании. Он работает на Mac, Linux и Windows на любом оборудовании и до 2 раз быстрее llama.cpp.
Мы оба инженеры-программисты и ранее создали агента браузера с открытым исходным кодом, получившего более 4 тыс. звёзд на GitHub и более 100 тыс. загрузок. Мы всё больше хотели запускать его на локальных моделях, но обнаружили, что ни один движок вывода не подходит для нашего случая. Современные движки вывода все идут на компромисс в производительности.
Magnitude создан для максимальной производительности на вашем оборудовании и для запуска локальных агентов: компиляция и настройка на устройстве, фокус на лучших архитектурах, динамическое распределение памяти и гибридное страничное внимание. Magnitude полностью открыт (Apache 2.0). Мы написали его на Rust, включая пользовательскую среду выполнения GPU-ядер и автотюнер.
По сравнению с llama.cpp с Qwen 3.6 35B A3B (4 бита), контекст 64k, без спекулятивного декодирования: Metal (Mac M4 Pro 48 ГБ) — 92% более быстрое декодирование (30 ток/с → 57 ток/с), CUDA (DGX Spark) — 19% более быстрое декодирование (49 ток/с → 58 ток/с). Magnitude поставляется как настольное приложение, которое вы можете легко подключить к любым агентам, которые уже используете.
Ключевые сущности: Компании: magnitudedev, GitHub, Hacker News | Люди: Anders, Tom
Часто задаваемые вопросы: Что такое Magnitude?
Magnitude — это движок вывода с открытым исходным кодом для агентов, который оптимизируется под ваше конкретное оборудование, обеспечивая до 2 раз более высокую производительность, чем llama.cpp на Apple Silicon, NVIDIA, AMD или CPU.
Вопрос: Что такое Magnitude?
Ответ: Magnitude — это движок вывода с открытым исходным кодом для агентов, который оптимизируется под ваше конкретное оборудование, обеспечивая до 2 раз более высокую производительность, чем llama.cpp на Apple Silicon, NVIDIA, AMD или CPU.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing