GitHub - Niko1221/Strata memungkinkan Anda menjalankan model AI 125 miliar parameter di PC gaming Anda sendiri dengan kartu grafis NVIDIA atau AMD (12 GB VRAM atau lebih). Ini gratis, open source, dan menjalankan Qwen3.8-Flash-Next, model AI besar dan pintar yang biasanya membutuhkan server. Model ini mengobrol, menulis kode, membaca gambar, dan bekerja dengan aplikasi serta agen pengkodean Anda, tanpa ada data yang meninggalkan PC Anda.
Kecepatan diukur pada dua PC gaming biasa. Pada NVIDIA RTX 5070 (12 GB, Ryzen 5 7600, 64 GB RAM), ukuran Q2_0 menulis jawaban dengan kecepatan 94 token per detik dan membaca prompt dengan kecepatan 2.650 token per detik. Pada AMD RX 9070 XT (16 GB, Ryzen 9 3900 X, 47 GB RAM), Q2_0 menulis dengan kecepatan 60 token per detik dan membaca dengan kecepatan 1.160 token per detik. Kartu dengan VRAM lebih besar seperti RTX 3090 (24 GB) seharusnya menulis sekitar 100-140 token per detik.
Anda memerlukan kartu grafis dari seri NVIDIA GeForce RTX 20, 30, 40, atau 50, atau seri AMD Radeon RX 7900 XT/XTX, RX 7800 XT/7700 XT, RX 9060 XT, RX 9070/9070 XT, Radeon AI PRO R9700, atau RX 6800/6900. Anda juga memerlukan RAM 32 GB atau lebih, sekitar 80 GB ruang disk kosong (SSD disarankan), dan Windows 10/11 atau Linux dengan driver grafis terkini. Penginstal mengatur semua yang lain, dan dua atau tiga kartu dapat berbagi model.
Untuk menginstal, unduh Strata dan ekstrak (atau git clone). Di Windows, klik dua kali START-HERE.bat. Di Linux, jalankan ./setup.sh di folder Strata. Penginstal menemukan kartu Anda dan menyiapkan mesin yang tepat, mengajukan beberapa pertanyaan tentang ukuran model, konteks, dan input gambar. Kemudian mengunduh model (sekitar 70 GB) dan memulainya, membuka aplikasi Strata di http://127.0.0.1:8080.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing