Salut Hacker News, ici Anders et Tom. Nous construisons Magnitude, un moteur d'inférence pour agents qui s'optimise pour fonctionner aussi vite que possible sur votre matériel. Il fonctionne sur Mac, Linux et Windows sur n'importe quel matériel et est jusqu'à 2 fois plus rapide que llama.cpp.
Nous sommes tous deux ingénieurs logiciels et avons précédemment construit un agent navigateur open source à plus de 4 000 étoiles GitHub et plus de 100 000 téléchargements. Nous voulions de plus en plus l'exécuter sur des modèles locaux, mais avons constaté qu'aucun moteur d'inférence ne convenait à notre cas d'utilisation. Les moteurs d'inférence actuels font tous un compromis de performance.
Magnitude est conçu pour des performances maximales sur votre matériel et pour exécuter des agents locaux : compilation et réglage sur l'appareil, concentration sur les meilleures architectures, allocation dynamique de la mémoire et attention paginée hybride. Magnitude est entièrement open source (Apache 2.0). Nous l'avons construit en Rust, y compris un runtime de noyau GPU personnalisé et un auto-réglage.
Comparé à llama.cpp avec Qwen 3.6 35B A3B (4 bits), contexte 64k, sans décodage spéculatif : Metal (Mac M4 Pro 48 Go) - 92% de décodage plus rapide (30 tok/s → 57 tok/s), CUDA (DGX Spark) - 19% de décodage plus rapide (49 tok/s → 58 tok/s). Magnitude est livré comme une application de bureau que vous pouvez facilement connecter à tous les agents que vous utilisez déjà.
Entités clés : Entreprises : magnitudedev, GitHub, Hacker News | Personnes : Anders, Tom
FAQ : Qu'est-ce que Magnitude ?
Magnitude est un moteur d'inférence open source pour agents qui s'optimise pour votre matériel exact, offrant des performances jusqu'à 2 fois plus rapides que llama.cpp sur Apple Silicon, NVIDIA, AMD ou CPU.
FAQ Q : Qu'est-ce que Magnitude ?
FAQ A : Magnitude est un moteur d'inférence open source pour agents qui s'optimise pour votre matériel exact, offrant des performances jusqu'à 2 fois plus rapides que llama.cpp sur Apple Silicon, NVIDIA, AMD ou CPU.
Source: Hacker News · Résumé par HeadlinesBriefing