GitHub - Niko1221/Strata আপনাকে আপনার নিজের গেমিং পিসিতে একটি 125 বিলিয়ন-প্যারামিটার AI মডেল চালাতে দেয় একটি NVIDIA বা AMD গ্রাফিক্স কার্ড (12 GB VRAM বা তার বেশি) সহ। এটি বিনামূল্যে, ওপেন সোর্স, এবং Qwen3.8-Flash-Next চালায়, একটি বড় স্মার্ট AI মডেল যা সাধারণত একটি সার্ভারের প্রয়োজন হয়। মডেলটি চ্যাট করে, কোড লেখে, ছবি পড়ে এবং আপনার অ্যাপ এবং কোডিং এজেন্টদের সাথে কাজ করে, আপনার পিসি থেকে কিছুই বের হয় না।
গতি দুটি সাধারণ গেমিং পিসিতে পরিমাপ করা হয়েছিল। একটি NVIDIA RTX 5070 (12 GB, Ryzen 5 7600, 64 GB RAM) তে, Q2_0 আকার 94 টোকেন প্রতি সেকেন্ডে উত্তর লেখে এবং 2,650 টোকেন প্রতি সেকেন্ডে প্রম্পট পড়ে। একটি AMD RX 9070 XT (16 GB, Ryzen 9 3900 X, 47 GB RAM) তে, Q2_0 60 টোকেন প্রতি সেকেন্ডে লেখে এবং 1,160 টোকেন প্রতি সেকেন্ডে পড়ে। RTX 3090 (24 GB) এর মতো বেশি VRAM সহ একটি কার্ডের প্রতি সেকেন্ডে প্রায় 100-140 টোকেন লেখা উচিত।
আপনার একটি NVIDIA GeForce RTX 20, 30, 40, বা 50 সিরিজ, বা AMD Radeon RX 7900 XT/XTX, RX 7800 XT/7700 XT, RX 9060 XT, RX 9070/9070 XT, Radeon AI PRO R9700, বা RX 6800/6900 সিরিজের গ্রাফিক্স কার্ড প্রয়োজন। আপনার 32 GB RAM বা তার বেশি, প্রায় 80 GB ফ্রি ডিস্ক স্পেস (SSD সুপারিশকৃত), এবং Windows 10/11 বা Linux একটি বর্তমান গ্রাফিক্স ড্রাইভার সহ প্রয়োজন। ইনস্টলার বাকি সবকিছু সেট আপ করে, এবং দুই বা তিনটি কার্ড মডেলটি ভাগ করতে পারে।
ইনস্টল করতে, Strata ডাউনলোড করুন এবং এটি আনজিপ করুন (বা git clone করুন)। Windows এ, START-HERE.bat এ ডাবল-ক্লিক করুন। Linux এ, Strata ফোল্ডারে ./setup.sh চালান। ইনস্টলার আপনার কার্ড খুঁজে পায় এবং সঠিক ইঞ্জিন সেট আপ করে, মডেলের আকার, প্রসঙ্গ এবং ইমেজ ইনপুট সম্পর্কে কয়েকটি প্রশ্ন জিজ্ঞাসা করে। তারপর এটি মডেলটি (প্রায় 70 GB) ডাউনলোড করে এবং এটি শুরু করে, http://127.0.0.1:8080 এ Strata অ্যাপ খোলে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing