مرحبًا Hacker News، أنا Anders وTom. نبني Magnitude، محرك استدلال للوكلاء يحسّن نفسه ليعمل بأسرع ما يمكن على عتادك. يعمل على Mac وLinux وWindows على أي عتاد وهو أسرع حتى مرتين من llama.cpp.
كلانا مهندسا برمجيات، وقد بنينا سابقًا وكيل متصفح مفتوح المصدر حصل على أكثر من 4k نجمة على GitHub وأكثر من 100k تنزيل. أردنا بشكل متزايد تشغيله على نماذج محلية، لكن وجدنا أنه لا يوجد محرك استدلال يعمل لحالتنا. جميع محركات الاستدلال اليوم تقدم تنازلاً في الأداء.
Magnitude مبني لتحقيق أقصى أداء على عتادك وتشغيل وكلاء محليين: تجميع وضبط على الجهاز، التركيز على أفضل البنى، تخصيص الذاكرة الديناميكي، والانتباه المقسّم الهجين. Magnitude مفتوح المصدر بالكامل (Apache 2.0). بنيناه بلغة Rust، بما في ذلك بيئة تشغيل نواة GPU مخصصة ومضبط تلقائي.
مقارنة مع llama.cpp مع Qwen 3.6 35B A3B (4 بت)، سياق 64k، بدون فك ترميز تخميني: Metal (Mac M4 Pro 48 GB) - 92% أسرع في فك الترميز (30 tok/s ← 57 tok/s)، CUDA (DGX Spark) - 19% أسرع في فك الترميز (49 tok/s ← 58 tok/s). يتوفر Magnitude كتطبيق سطح مكتب يمكنك ربطه بسهولة بأي وكلاء تستخدمهم بالفعل.
كيانات رئيسية: شركات: magnitudedev، GitHub، Hacker News | أشخاص: Anders، Tom
الأسئلة الشائعة: ما هو Magnitude؟
Magnitude هو محرك استدلال مفتوح المصدر للوكلاء يحسّن نفسه لعتادك المحدد، مما يوفر أداءً أسرع حتى مرتين من llama.cpp على Apple Silicon أو NVIDIA أو AMD أو CPU.
سؤال شائع: ما هو Magnitude؟
جواب شائع: Magnitude هو محرك استدلال مفتوح المصدر للوكلاء يحسّن نفسه لعتادك المحدد، مما يوفر أداءً أسرع حتى مرتين من llama.cpp على Apple Silicon أو NVIDIA أو AMD أو CPU.
المصدر: Hacker News · لخّصه HeadlinesBriefing