Llmspeed একটি সম্প্রদায়-চালিত বেঞ্চমার্কিং টুল যা ব্যবহারকারীদের হার্ডওয়্যার কেনার আগে বিভিন্ন হার্ডওয়্যার কনফিগারেশনে স্থানীয় LLM কত দ্রুত চলে তার অনুমান করতে দেয়। প্ল্যাটফর্মটি একক ডিভাইসে একটি ছোট প্রম্পটের জন্য অনুমান প্রদান করে, যা r/LocalLLaMA এবং localscore.ai-এর সম্প্রদায় বেঞ্চমার্ক এবং হার্ডওয়্যার স্পেসিফিকেশন ভিত্তিক প্রোজেকশন থেকে নেওয়া হয়েছে। ব্যবহারকারীরা হার্ডওয়্যার অনুযায়ী ব্রাউজ করতে পারেন, যার মধ্যে NVIDIA RTX মডেল যেমন RTX 3090, RTX 4090 এবং RTX 5090, এবং AMD এবং Mac অপশন অন্তর্ভুক্ত। পরীক্ষিত মডেলগুলোর মধ্যে Qwen, Gemma, Llama এবং DeepSeek ভ্যারিয়েন্ট অন্তর্ভুক্ত। টুলটি GitHub-এ ওপেন সোর্স এবং এর লক্ষ্য হল উৎসাহীদের স্থানীয় AI ডিপ্লয়মেন্ট সম্পর্কে সিদ্ধান্ত নিতে সাহায্য করা।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing