GitHub - Niko1221/Strata आपको अपने गेमिंग PC पर NVIDIA या AMD ग्राफिक्स कार्ड (12 GB VRAM या अधिक) के साथ एक 125 बिलियन-पैरामीटर AI मॉडल चलाने देता है। यह मुफ्त, ओपन सोर्स है, और Qwen3.8-Flash-Next चलाता है, एक बड़ा स्मार्ट AI मॉडल जिसे आमतौर पर सर्वर की आवश्यकता होती है। मॉडल चैट करता है, कोड लिखता है, चित्र पढ़ता है, और आपके ऐप्स और कोडिंग एजेंटों के साथ काम करता है, जिसमें कुछ भी आपके PC से बाहर नहीं जाता है।
गति दो सामान्य गेमिंग PC पर मापी गई थी। NVIDIA RTX 5070 (12 GB, Ryzen 5 7600, 64 GB RAM) पर, Q2_0 आकार 94 टोकन प्रति सेकंड पर उत्तर लिखता है और 2,650 टोकन प्रति सेकंड पर प्रॉम्प्ट पढ़ता है। AMD RX 9070 XT (16 GB, Ryzen 9 3900 X, 47 GB RAM) पर, Q2_0 60 टोकन प्रति सेकंड पर लिखता है और 1,160 टोकन प्रति सेकंड पर पढ़ता है। RTX 3090 (24 GB) जैसे अधिक VRAM वाला कार्ड लगभग 100-140 टोकन प्रति सेकंड लिखना चाहिए।
आपको NVIDIA GeForce RTX 20, 30, 40, या 50 श्रृंखला, या AMD Radeon RX 7900 XT/XTX, RX 7800 XT/7700 XT, RX 9060 XT, RX 9070/9070 XT, Radeon AI PRO R9700, या RX 6800/6900 श्रृंखला से एक ग्राफिक्स कार्ड की आवश्यकता है। आपको 32 GB RAM या अधिक, लगभग 80 GB खाली डिस्क स्थान (SSD अनुशंसित), और Windows 10/11 या Linux एक वर्तमान ग्राफिक्स ड्राइवर के साथ चाहिए। इंस्टॉलर बाकी सब कुछ सेट करता है, और दो या तीन कार्ड मॉडल साझा कर सकते हैं।
इंस्टॉल करने के लिए, Strata डाउनलोड करें और इसे अनज़िप करें (या git clone करें)। Windows पर, START-HERE.bat पर डबल-क्लिक करें। Linux पर, Strata फ़ोल्डर में ./setup.sh चलाएं। इंस्टॉलर आपका कार्ड ढूंढता है और सही इंजन सेट करता है, मॉडल आकार, संदर्भ और छवि इनपुट के बारे में कुछ प्रश्न पूछता है। फिर यह मॉडल (लगभग 70 GB) डाउनलोड करता है और इसे शुरू करता है, http://127.0.0.1:8080 पर Strata ऐप खोलता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित