Llmspeed एक सामुदायिक बेंचमार्किंग टूल है जो उपयोगकर्ताओं को हार्डवेयर खरीदने से पहले विभिन्न हार्डवेयर कॉन्फिगरेशन पर स्थानीय LLM की गति का अनुमान लगाने की सुविधा देता है। यह प्लेटफॉर्म एक सिंगल डिवाइस पर एक छोटे प्रॉम्प्ट के लिए अनुमान प्रदान करता है, जो r/LocalLLaMA और localscore.ai पर सामुदायिक बेंचमार्क के साथ-साथ हार्डवेयर स्पेसिफिकेशन पर आधारित प्रोजेक्शन से लिया गया है। उपयोगकर्ता हार्डवेयर के अनुसार ब्राउज़ कर सकते हैं, जिसमें NVIDIA RTX मॉडल जैसे RTX 3090, RTX 4090 और RTX 5090, साथ ही AMD और Mac विकल्प शामिल हैं। परीक्षण किए गए मॉडल में Qwen, Gemma, Llama और DeepSeek वेरिएंट शामिल हैं। यह टूल GitHub पर ओपन सोर्स है और इसका उद्देश्य उत्साही लोगों को स्थानीय AI तैनाती के बारे में सूचित निर्णय लेने में मदद करना है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित