ম্যাগনিটিউড: ওপেন সোর্স ইনফারেন্স ইঞ্জিন যা llama.cpp-এর চেয়ে ২ গুণ দ্রুত

হাই Hacker News, এখানে Anders এবং Tom। আমরা Magnitude তৈরি করছি, এজেন্টদের জন্য একটি ইনফারেন্স ইঞ্জিন যা আপনার হার্ডওয়্যারে যত দ্রুত সম্ভব চালানোর জন্য নিজেকে অপ্টিমাইজ করে। এটি Mac, Linux এবং Windows-এ যেকোনো হার্ডওয়্যারে কাজ করে এবং llama.cpp-এর চেয়ে ২ গুণ দ্রুত।

আমরা দুজনেই সফটওয়্যার ইঞ্জিনিয়ার এবং আগে একটি ওপেন সোর্স ব্রাউজার এজেন্ট তৈরি করেছি যা ৪ হাজারের বেশি GitHub স্টার এবং ১ লাখের বেশি ডাউনলোড পেয়েছে। আমরা ক্রমবর্ধমানভাবে এটি লোকাল মডেলে চালাতে চেয়েছিলাম, কিন্তু দেখেছি যে আমাদের ব্যবহারের জন্য কোনো ইনফারেন্স ইঞ্জিন কাজ করে না। আজকের ইনফারেন্স ইঞ্জিনগুলো সবাই পারফরম্যান্সে আপস করে।

Magnitude আপনার হার্ডওয়্যারে সর্বোচ্চ পারফরম্যান্স এবং লোকাল এজেন্ট চালানোর জন্য তৈরি: ডিভাইসে কম্পাইলেশন এবং টিউনিং, সেরা আর্কিটেকচারে ফোকাস, ডাইনামিক মেমরি বরাদ্দ এবং হাইব্রিড পেজিনেটেড অ্যাটেনশন। Magnitude সম্পূর্ণ ওপেন সোর্স (Apache 2.0)। আমরা এটি Rust-এ তৈরি করেছি, যার মধ্যে কাস্টম GPU কার্নেল রানটাইম এবং অটোটিউনার অন্তর্ভুক্ত।

llama.cpp-এর সাথে Qwen 3.6 35B A3B (৪ বিট), ৬৪k কনটেক্সট, কোনো স্পেকুলেটিভ ডিকোডিং ছাড়া বেঞ্চমার্ক করা হয়েছে: Metal (Mac M4 Pro ৪৮ GB) - ৯২% দ্রুত ডিকোড (৩০ tok/s → ৫৭ tok/s), CUDA (DGX Spark) - ১৯% দ্রুত ডিকোড (৪৯ tok/s → ৫৮ tok/s)। Magnitude একটি ডেস্কটপ অ্যাপ হিসেবে আসে যা আপনি আপনার ইতিমধ্যে ব্যবহৃত যেকোনো এজেন্টের সাথে সহজেই সংযোগ করতে পারেন।

মূল সত্তা: কোম্পানি: magnitudedev, GitHub, Hacker News | ব্যক্তি: Anders, Tom

সাধারণ জিজ্ঞাসা: Magnitude কী?

Magnitude এজেন্টদের জন্য একটি ওপেন সোর্স ইনফারেন্স ইঞ্জিন যা আপনার সঠিক হার্ডওয়্যারের জন্য নিজেকে অপ্টিমাইজ করে, Apple Silicon, NVIDIA, AMD বা CPU-তে llama.cpp-এর চেয়ে ২ গুণ দ্রুত পারফরম্যান্স দেয়।

সাধারণ জিজ্ঞাসা প্রশ্ন: Magnitude কী?

সাধারণ জিজ্ঞাসা উত্তর: Magnitude এজেন্টদের জন্য একটি ওপেন সোর্স ইনফারেন্স ইঞ্জিন যা আপনার সঠিক হার্ডওয়্যারের জন্য নিজেকে অপ্টিমাইজ করে, Apple Silicon, NVIDIA, AMD বা CPU-তে llama.cpp-এর চেয়ে ২ গুণ দ্রুত পারফরম্যান্স দেয়।

উৎস: Hacker News · সারাংশ: HeadlinesBriefing