Llmspeed adalah alat benchmark yang didorong oleh komunitas yang memungkinkan pengguna untuk mengestimasi seberapa cepat LLM lokal berjalan pada berbagai konfigurasi hardware sebelum membeli. Platform ini memberikan estimasi untuk prompt pendek pada satu perangkat, yang diambil dari benchmark komunitas di r/LocalLLaMA dan localscore.ai, serta proyeksi berdasarkan spesifikasi hardware. Pengguna dapat menelusuri berdasarkan hardware, termasuk model NVIDIA RTX seperti RTX 3090, RTX 4090, dan RTX 5090, serta opsi AMD dan Mac.
Model yang diuji mencakup varian Qwen, Gemma, Llama, dan DeepSeek. Alat ini bersifat open source di GitHub dan bertujuan membantu penggemar membuat keputusan yang tepat tentang penerapan AI lokal.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing