مرحبًا HN، أنا Anders وTom. نحن نبني Magnitude، محرك استدلال للوكلاء يحسّن نفسه ليعمل بأسرع ما يمكن على أجهزتك. يعمل على Mac وLinux وWindows على أي جهاز وهو أسرع حتى مرتين من llama.cpp.

كلانا مهندسا برمجيات وبنينا سابقًا وكيل متصفح مفتوح المصدر حصل على أكثر من 4k نجمة على GitHub وأكثر من 100k تنزيل. أردنا بشكل متزايد تشغيله على نماذج محلية، لكننا وجدنا أنه لا يوجد محرك استدلال يعمل لحالتنا.

محركات الاستدلال اليوم جميعها تقدم تنازلاً في الأداء. إما أنها مبنية للاستدلال المجمع على أجهزة مراكز البيانات على حساب أداء الجلسة الواحدة (vLLM، SGLang)، أو مصممة لتوافق واسع بدلاً من التحسين لأجهزة محددة (llama.cpp، Ollama)، أو متخصصة لأجهزة أو نماذج محددة ولكنها تفتقر إلى اكتمال المحرك (oMLX، ds4). بالإضافة إلى ذلك، لا يوجد أي منها مصمم لتشغيل الوكلاء محليًا.

Magnitude مبني لتحقيق أقصى أداء على أجهزتك ولتشغيل الوكلاء المحليين. يتميز بالترجمة والضبط على الجهاز، والتركيز على أفضل البنى، وتخصيص الذاكرة الديناميكي، والانتباه المقسّم الهجين. إنه مفتوح المصدر بالكامل (Apache 2.0)، مبني بلغة Rust، وتظهر المعايير أنه أسرع بنسبة 92% في فك التشفير على Metal و19% على CUDA مقارنة بـ llama.cpp.

يتوفر Magnitude كتطبيق سطح مكتب يتصل بوكلاء مثل Pi وOpenCode وHermes وCodex. تتضمن الخطط المستقبلية البث المتخصص ومترجم النواة واستخدام الأجهزة المتعددة.