Hola Hacker News, aquí Anders y Tom. Estamos construyendo Magnitude, un motor de inferencia para agentes que se optimiza para ejecutarse lo más rápido posible en su hardware. Funciona en Mac, Linux y Windows en cualquier hardware y es hasta 2 veces más rápido que llama.cpp.
Ambos somos ingenieros de software y anteriormente construimos un agente de navegador de código abierto con más de 4k estrellas en GitHub y más de 100k descargas. Cada vez queríamos más ejecutarlo en modelos locales, pero descubrimos que ningún motor de inferencia funcionaba para nuestro caso de uso. Los motores de inferencia actuales todos hacen un compromiso de rendimiento.
Magnitude está construido para el máximo rendimiento en su hardware y para ejecutar agentes locales: compilación y ajuste en el dispositivo, enfoque en las mejores arquitecturas, asignación dinámica de memoria y atención paginada híbrida. Magnitude es totalmente de código abierto (Apache 2.0). Lo construimos en Rust, incluyendo un runtime de kernel GPU personalizado y autotuner.
Comparado con llama.cpp con Qwen 3.6 35B A3B (4 bits), contexto de 64k, sin decodificación especulativa: Metal (Mac M4 Pro 48 GB) - 92% más rápido en decodificación (30 tok/s → 57 tok/s), CUDA (DGX Spark) - 19% más rápido en decodificación (49 tok/s → 58 tok/s). Magnitude se distribuye como una aplicación de escritorio que puede conectar fácilmente con los agentes que ya use.
Entidades clave: Empresas: magnitudedev, GitHub, Hacker News | Personas: Anders, Tom
Preguntas frecuentes: ¿Qué es Magnitude?
Magnitude es un motor de inferencia de código abierto para agentes que se optimiza para su hardware exacto, ofreciendo hasta 2 veces más rendimiento que llama.cpp en Apple Silicon, NVIDIA, AMD o CPU.
Pregunta frecuente Q: ¿Qué es Magnitude?
Respuesta frecuente A: Magnitude es un motor de inferencia de código abierto para agentes que se optimiza para su hardware exacto, ofreciendo hasta 2 veces más rendimiento que llama.cpp en Apple Silicon, NVIDIA, AMD o CPU.
Fuente: Hacker News · Resumido por HeadlinesBriefing