Llmspeed — это инструментベンчмарка, управляемый сообществом, который позволяет пользователям оценить, как быстро локальная LLM работает на различных конфигурациях оборудования перед покупкой. Платформа предоставляет оценки для короткого запроса на одном устройстве, основанные на бенчмарках сообщества на r/LocalLLaMA и localscore.ai, а также на прогнозах, основанных на спецификациях оборудования. Пользователи могут просматривать оборудование, включая модели NVIDIA RTX, такие как RTX 3090, RTX 4090 и RTX 5090, а также варианты AMD и Mac. Протестированные модели включают варианты Qwen, Gemma, Llama и DeepSeek. Инструмент с открытым исходным кодом на GitHub и направлен на помощь энтузиастам в принятии обоснованных решений о локальном развертывании ИИ.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing