GitHub - Niko1221/Strata يتيح لك تشغيل نموذج AI بـ 125 مليار معلمة على جهاز الكمبيوتر المخصص للألعاب الخاص بك مع بطاقة رسومات NVIDIA أو AMD (12 GB VRAM أو أكثر). إنه مجاني ومفتوح المصدر، ويشغل Qwen3.8-Flash-Next، وهو نموذج AI كبير وذكي يحتاج عادةً إلى خادم. النموذج يدردش، ويكتب كودًا، ويقرأ الصور، ويعمل مع تطبيقاتك وعوامل البرمجة، دون أن يغادر أي شيء جهاز الكمبيوتر الخاص بك.
تم قياس السرعة على جهازي كمبيوتر ألعاب عاديين. على NVIDIA RTX 5070 (12 GB، Ryzen 5 7600، 64 GB RAM)، يكتب حجم Q2_0 الإجابات بمعدل 94 رمزًا في الثانية ويقرأ المطالبات بمعدل 2,650 رمزًا في الثانية. على AMD RX 9070 XT (16 GB، Ryzen 9 3900 X، 47 GB RAM)، يكتب Q2_0 بمعدل 60 رمزًا في الثانية ويقرأ بمعدل 1,160 رمزًا في الثانية. يجب أن تكتب بطاقة ذات VRAM أكبر مثل RTX 3090 (24 GB) حوالي 100-140 رمزًا في الثانية.
تحتاج إلى بطاقة رسومات من سلسلة NVIDIA GeForce RTX 20 أو 30 أو 40 أو 50، أو سلسلة AMD Radeon RX 7900 XT/XTX أو RX 7800 XT/7700 XT أو RX 9060 XT أو RX 9070/9070 XT أو Radeon AI PRO R9700 أو RX 6800/6900. تحتاج أيضًا إلى 32 GB RAM أو أكثر، وحوالي 80 GB مساحة خالية على القرص (يوصى باستخدام SSD)، وWindows 10/11 أو Linux مع برنامج تشغيل رسومات حالي. يقوم المثبت بإعداد كل شيء آخر، ويمكن لبطاقتين أو ثلاث مشاركة النموذج.
للتثبيت، قم بتنزيل Strata وفك ضغطه (أو git clone). على Windows، انقر نقرًا مزدوجًا فوق START-HERE.bat. على Linux، قم بتشغيل ./setup.sh في مجلد Strata. يجد المثبت بطاقتك ويضبط المحرك الصحيح، ويسأل بعض الأسئلة حول حجم النموذج والسياق وإدخال الصورة. ثم يقوم بتنزيل النموذج (حوالي 70 GB) ويبدأ تشغيله، ويفتح تطبيق Strata على http://127.0.0.1:8080.
المصدر: Hacker News · لخّصه HeadlinesBriefing