GitHub - Niko1221/Strata让您在自己的游戏PC上运行一个1250亿参数的AI模型，配备NVIDIA或AMD显卡（12 GB VRAM或更多）。它是免费、开源的，运行Qwen3.8-Flash-Next，一个通常需要服务器的大型智能AI模型。该模型可以聊天、编写代码、读取图片，并与您的应用程序和编码代理协同工作，所有数据都不会离开您的PC。
速度是在两台普通游戏PC上测量的。在NVIDIA RTX 5070（12 GB，Ryzen 5 7600，64 GB RAM）上，Q2_0大小以每秒94个令牌的速度写入答案，并以每秒2,650个令牌的速度读取提示。在AMD RX 9070 XT（16 GB，Ryzen 9 3900 X，47 GB RAM）上，Q2_0以每秒60个令牌的速度写入，并以每秒1,160个令牌的速度读取。具有更多VRAM的显卡，如RTX 3090（24 GB），应该能以每秒约100-140个令牌的速度写入。
您需要一张来自NVIDIA GeForce RTX 20、30、40或50系列，或AMD Radeon RX 7900 XT/XTX、RX 7800 XT/7700 XT、RX 9060 XT、RX 9070/9070 XT、Radeon AI PRO R9700或RX 6800/6900系列的显卡。您还需要32 GB或更多的RAM，约80 GB的可用磁盘空间（建议使用SSD），以及Windows 10/11或Linux和最新的显卡驱动程序。安装程序会设置所有其他内容，并且两个或三个显卡可以共享该模型。
要安装，请下载Strata并解压缩（或git clone）。在Windows上，双击START-HERE.bat。在Linux上，在Strata文件夹中运行./setup.sh。安装程序会找到您的显卡并设置正确的引擎，询问一些关于模型大小、上下文和图像输入的问题。然后它会下载模型（约70 GB）并启动它，在http://127.0.0.1:8080打开Strata应用程序。
来源: Hacker News · 由HeadlinesBriefing整理摘要