Llmspeed es una herramienta de referencia impulsada por la comunidad que permite a los usuarios estimar qué tan rápido funciona un LLM local en varias configuraciones de hardware antes de comprar. La plataforma proporciona estimaciones para un mensaje corto en un solo dispositivo, basándose en pruebas de referencia de la comunidad en r/LocalLLaMA y localscore.ai, así como en proyecciones basadas en especificaciones de hardware. Los usuarios pueden navegar por hardware, incluidos modelos NVIDIA RTX como RTX 3090, RTX 4090 y RTX 5090, así como opciones de AMD y Mac.
Los modelos probados incluyen variantes de Qwen, Gemma, Llama y DeepSeek. La herramienta es de código abierto en GitHub y tiene como objetivo ayudar a los entusiastas a tomar decisiones informadas sobre la implementación de IA local.
Fuente: Hacker News · Resumido por HeadlinesBriefing