Llmspeed ist ein community-gesteuertes Benchmark-Tool, das Nutzern ermöglicht, die Geschwindigkeit eines lokalen LLM auf verschiedenen Hardware-Konfigurationen vor dem Kauf zu schätzen. Die Plattform liefert Schätzungen für einen kurzen Prompt auf einem einzelnen Gerät, basierend auf Community-Benchmarks von r/LocalLLaMA und localscore.ai sowie auf Projektionen basierend auf Hardware-Spezifikationen. Nutzer können nach Hardware stöbern, einschließlich NVIDIA RTX-Modellen wie RTX 3090, RTX 4090 und RTX 5090 sowie AMD- und Mac-Optionen.
Getestete Modelle umfassen Qwen-, Gemma-, Llama- und DeepSeek-Varianten. Das Tool ist Open Source auf GitHub und soll Enthusiasten dabei helfen, fundierte Entscheidungen über lokale KI-Bereitstellungen zu treffen.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing