Llmspeed é uma ferramenta de benchmark impulsionada pela comunidade que permite aos usuários estimar a velocidade de execução de um LLM local em várias configurações de hardware antes da compra. A plataforma fornece estimativas para um prompt curto em um único dispositivo, baseadas em benchmarks da comunidade no r/LocalLLaMA e localscore.ai, bem como projeções baseadas em especificações de hardware. Os usuários podem navegar por hardware, incluindo modelos NVIDIA RTX como RTX 3090, RTX 4090 e RTX 5090, bem como opções AMD e Mac.
Os modelos testados incluem variantes Qwen, Gemma, Llama e DeepSeek. A ferramenta é de código aberto no GitHub e visa ajudar entusiastas a tomar decisões informadas sobre a implantação de IA local.
Fonte: Hacker News · Resumido por HeadlinesBriefing