HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev تجربة نموذج قرارات متصفح

Hacker News •
×

يقدم openjev تجربة مستندة إلى المتصفح تستكشف ما إذا يمكن تشغيل نموذج قرارات محليًا بدون اعتماديات خلفية. يتيح للمشروع للمستخدمين اختيار أحجام النماذج، بما في ذلك Mini CPM 5 2B كافتراضي أو Qwen3 0.6B للأجهزة الأصغر، وقياس الفروقات في الأداء بين قراءات الاحتمال المباشرة والإنشاء الرمزي رميًا. يقوم المستخدمون بتحميل أوزان مكثفة من Hugging Face، والتي تظل مخزنة محليًا، مع بقاء المدخلات بالكامل على الصفحة. يقارن التجريب بين طريقتين: القراءة المباشرة، التي تُطبيع softmax عبر الخيارات المقدمة دون فك تشفير، والإنشاء، الذي يطلب من النموذج كتابة احتمالات الخيارات كنص JSON رميًا رميًا. كلا الخيارين يعملان بشكل متسلسل على نفس النموذج المحمل لتجنب صراع GPU. تأتي الأوزان من Hugging Face وتظل في ذاكرة التخزين المؤقت للمتصفح. قد يستغرق تحميل النموذج الأول عدة دقائق بناءً على الاختيار والشبكة والأجهزة. يستخدم العرض البناءات GGUF المثبتة من خلال wllama، ملاحظة أن التكثيف يؤثر على الجودة والسرعة. يوفر هذا التجريب المحلي وصولًا فوريًا دون قوائم انتظار، مما يتيح للمستخدمين قياس أداء نموذج القرار مباشرة في بيئة المتصفح الخاصة بهم.