Llmspeed est un outil de benchmark communautaire qui permet aux utilisateurs d'estimer la vitesse d'exécution d'un LLM local sur diverses configurations matérielles avant l'achat. La plateforme fournit des estimations pour une courte requête sur un seul appareil, tirées des benchmarks communautaires de r/LocalLLaMA et localscore.ai, ainsi que de projections basées sur les spécifications matérielles. Les utilisateurs peuvent parcourir par matériel, y compris les modèles NVIDIA RTX tels que le RTX 3090, le RTX 4090 et le RTX 5090, ainsi que les options AMD et Mac.
Les modèles testés incluent les variantes Qwen, Gemma, Llama et DeepSeek. L'outil est open source sur GitHub et vise à aider les passionnés à prendre des décisions éclairées concernant le déploiement d'IA locale.
Source: Hacker News · Résumé par HeadlinesBriefing