HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev ब्राउज़र निर्णय मॉडल प्रयोग

Hacker News •
×

openjev एक ब्राउज़र-आधारित प्रयोग प्रस्तुत करता है जो यह जाँचता है कि क्या एक निर्णय मॉडल बैकेंड की आवश्यकता के बिना स्थानीय रूप से चल सकता है। यह प्रोजेक्ट उपयोगकर्ताओं को मॉडल आकार चुनने की अनुमति देता है, जिसमें डिफ़ॉल्ट रूप से Mini CPM 5 2B या छोटे डिवाइस के लिए Qwen3 0.6B शामिल है, और सीधी संभावना पढ़ने और टोकन-दर-टोकन जनरेशन के बीच के प्रदर्शन अंतर को मापता है। उपयोगकर्ता Hugging Face से मात्रात्मक वज़न लोड करते हैं, जो स्थानीय रूप से कैश्ड रहते हैं, इनपुट पूरी तरह से पृष्ठ पर रहता है। प्रयोग दो विधियों की तुलना करता है: सीधी पढ़ना, जो डिकोडिंग के बिना प्रदान किए गए विकल्पों पर softmax को सामान्य करता है, और जनरेशन, जो मॉडल से विकल्प संभावनाओं को JSON पाठ के रूप में टोकन-दर-टोकन लिखने को कहता है। दोनों एक ही लोडेड मॉडल पर क्रमशः चलाए जाते हैं ताकि GPU प्रतिद्वंद्वता से बचा जा सके। वज़न Hugging Face से उत्पन्न होते हैं और ब्राउज़र कैश में स्थायी रूप से संग्रहीत होते हैं। पहली बार मॉडल लोड करने में कई मिनट लग सकते हैं, जो चयन, नेटवर्क और हार्डवेयर पर निर्भर करता है। डेमो wllama के माध्यम से पिन्ड GGUF बिल्ड का उपयोग करता है, जो ध्यान देता है कि मात्रात्मककरण गुणवत्ता और गति दोनों को प्रभावित करता है। यह स्थानीय प्रयोग बिना प्रतीक्षा सूची के तुरंत पहुँच प्रदान करता है, जिससे उपयोगकर्ता अपने ब्राउज़र वातावरण में सीधे निर्णय मॉडल प्रदर्शन का बेंचमार्क कर सकते हैं।