GitHub - Niko1221/Strata позволяет запустить модель ИИ с 125 миллиардами параметров на вашем собственном игровом ПК с видеокартой NVIDIA или AMD (12 ГБ VRAM или более). Она бесплатна, имеет открытый исходный код и запускает Qwen3.8-Flash-Next, большую интеллектуальную модель ИИ, которая обычно требует сервера. Модель общается, пишет код, читает изображения и работает с вашими приложениями и агентами кодирования, при этом ничего не покидает ваш ПК.
Скорость измерялась на двух обычных игровых ПК. На NVIDIA RTX 5070 (12 ГБ, Ryzen 5 7600, 64 ГБ ОЗУ) размер Q2_0 записывает ответы со скоростью 94 токена в секунду и читает подсказки со скоростью 2 650 токенов в секунду. На AMD RX 9070 XT (16 ГБ, Ryzen 9 3900 X, 47 ГБ ОЗУ) Q2_0 записывает со скоростью 60 токенов в секунду и читает со скоростью 1 160 токенов в секунду. Карта с большим объемом VRAM, такая как RTX 3090 (24 ГБ), должна записывать около 100-140 токенов в секунду.
Вам нужна видеокарта из серии NVIDIA GeForce RTX 20, 30, 40 или 50, или серии AMD Radeon RX 7900 XT/XTX, RX 7800 XT/7700 XT, RX 9060 XT, RX 9070/9070 XT, Radeon AI PRO R9700 или RX 6800/6900. Вам также нужно 32 ГБ ОЗУ или более, около 80 ГБ свободного места на диске (рекомендуется SSD) и Windows 10/11 или Linux с актуальным драйвером графики. Установщик настраивает все остальное, и две или три карты могут совместно использовать модель.
Для установки загрузите Strata и распакуйте его (или сделайте git clone). В Windows дважды щелкните START-HERE.bat. В Linux запустите ./setup.sh в папке Strata. Установщик находит вашу карту и настраивает правильный движок, задавая несколько вопросов о размере модели, контексте и вводе изображений. Затем он загружает модель (около 70 ГБ) и запускает ее, открывая приложение Strata по адресу http://127.0.0.1:8080.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing