मैग्निट्यूड: ओपन सोर्स इंफरेंस इंजन जो llama.cpp से 2 गुना तेज़ है

नमस्ते Hacker News, यहाँ Anders और Tom हैं। हम Magnitude बना रहे हैं, जो एजेंटों के लिए एक इंफरेंस इंजन है जो आपके हार्डवेयर पर जितनी जल्दी हो सके चलने के लिए खुद को अनुकूलित करता है। यह Mac, Linux और Windows पर किसी भी हार्डवेयर पर काम करता है और llama.cpp से 2 गुना तेज़ है।

हम दोनों सॉफ्टवेयर इंजीनियर हैं और पहले एक ओपन सोर्स ब्राउज़र एजेंट बना चुके हैं जिसे 4k+ GitHub स्टार और 100k+ डाउनलोड मिले हैं। हम तेजी से इसे स्थानीय मॉडल पर चलाना चाहते थे, लेकिन पाया कि कोई भी इंफरेंस इंजन हमारे उपयोग के लिए काम नहीं करता। आज के इंफरेंस इंजन सभी प्रदर्शन में समझौता करते हैं।

Magnitude आपके हार्डवेयर पर अधिकतम प्रदर्शन और स्थानीय एजेंट चलाने के लिए बनाया गया है: डिवाइस पर संकलन और ट्यूनिंग, सर्वोत्तम आर्किटेक्चर पर ध्यान, गतिशील मेमोरी आवंटन, और हाइब्रिड पेजिनेटेड अटेंशन। Magnitude पूरी तरह से ओपन सोर्स (Apache 2.0) है। हमने इसे Rust में बनाया है, जिसमें कस्टम GPU कर्नेल रनटाइम और ऑटोट्यूनर शामिल हैं।

llama.cpp के साथ Qwen 3.6 35B A3B (4 बिट), 64k संदर्भ, बिना सट्टा डिकोडिंग के बेंचमार्क किया गया: Metal (Mac M4 Pro 48 GB) - 92% तेज़ डिकोड (30 tok/s → 57 tok/s), CUDA (DGX Spark) - 19% तेज़ डिकोड (49 tok/s → 58 tok/s)। Magnitude एक डेस्कटॉप ऐप के रूप में आता है जिसे आप अपने पहले से उपयोग किए जा रहे किसी भी एजेंट से आसानी से जोड़ सकते हैं।

मुख्य संस्थाएँ: कंपनियाँ: magnitudedev, GitHub, Hacker News | लोग: Anders, Tom

अक्सर पूछे जाने वाले प्रश्न: Magnitude क्या है?

Magnitude एजेंटों के लिए एक ओपन सोर्स इंफरेंस इंजन है जो आपके सटीक हार्डवेयर के लिए खुद को अनुकूलित करता है, Apple Silicon, NVIDIA, AMD या CPU पर llama.cpp से 2 गुना तेज़ प्रदर्शन देता है।

अक्सर पूछे जाने वाले प्रश्न Q: Magnitude क्या है?

अक्सर पूछे जाने वाले प्रश्न A: Magnitude एजेंटों के लिए एक ओपन सोर्स इंफरेंस इंजन है जो आपके सटीक हार्डवेयर के लिए खुद को अनुकूलित करता है, Apple Silicon, NVIDIA, AMD या CPU पर llama.cpp से 2 गुना तेज़ प्रदर्शन देता है।

स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित