Llmspeedはコミュニティ主導のベンチマークツールで、ユーザーがハードウェア購入前にさまざまなハードウェア構成でのローカルLLMの動作速度を推定できるようにします。プラットフォームは、単一デバイスでの短いプロンプトに関する推定を、r/LocalLLaMAおよびlocalscore.aiのコミュニティベンチマーク、およびハードウェア仕様に基づく予測から提供します。ユーザーはハードウェアごとに閲覧でき、NVIDIA RTXモデル(RTX 3090、RTX 4090、RTX 5090など)やAMD、Macのオプションも含まれます。テスト対象モデルにはQwen、Gemma、Llama、DeepSeekのバリアントが含まれます。このツールはGitHubでオープンソースとして公開されており、愛好家がローカルAIの導入について情報に基づいた判断を下せるよう支援することを目的としています。
出典: Hacker News · 要約:HeadlinesBriefing