Hei HN, ini Anders dan Tom. Kami membangun Magnitude, mesin inferensi untuk agen yang mengoptimalkan dirinya sendiri untuk berjalan secepat mungkin di perangkat keras Anda. Ini berfungsi di Mac, Linux, dan Windows pada perangkat keras apa pun dan hingga 2x lebih cepat dari llama.cpp.

Kami berdua insinyur perangkat lunak dan sebelumnya membangun agen peramban sumber terbuka dengan lebih dari 4 ribu bintang GitHub dan lebih dari 100 ribu unduhan. Kami semakin ingin menjalankannya pada model lokal, tetapi menemukan bahwa tidak ada mesin inferensi yang cocok untuk kasus penggunaan kami.

Mesin inferensi saat ini semuanya membuat trade-off kinerja. Mereka dibuat untuk inferensi batch pada perangkat keras pusat data dengan mengorbankan kinerja sesi tunggal (vLLM, SGLang), atau dirancang untuk kompatibilitas luas daripada mengoptimalkan perangkat keras tertentu (llama.cpp, Ollama), atau dikhususkan untuk perangkat keras atau model tertentu tetapi kurang kelengkapan mesin (oMLX, ds4). Selain itu, tidak ada yang dirancang untuk menjalankan agen secara lokal.

Magnitude dibangun untuk kinerja maksimal di perangkat keras Anda dan untuk menjalankan agen lokal. Ini menampilkan kompilasi dan penyesuaian di perangkat, fokus pada arsitektur terbaik, alokasi memori dinamis, dan perhatian halaman hibrida. Ini sepenuhnya sumber terbuka (Apache 2.0), dibangun dengan Rust, dan tolok ukur menunjukkan hingga 92% lebih cepat dalam dekode di Metal dan 19% lebih cepat di CUDA dibandingkan dengan llama.cpp.

Magnitude hadir sebagai aplikasi desktop yang terhubung dengan agen seperti Pi, OpenCode, Hermes, dan Codex. Rencana ke depan termasuk streaming ahli, kompiler kernel, dan pemanfaatan multi-perangkat.