HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev ব্রাউজার সিদ্ধান্ত মডেল পরীক্ষা

Hacker News •
×

openjev একটি ব্রাউজার-ভিত্তিক পরীক্ষা উপস্থাপন করে যা অন্বেষণ করে যে একটি সিদ্ধান্ত মডেল ব্যাকএন্ড নির্ভরতা ছাড়াই স্থানীয়ভাবে চালানো যেতে পারে। এই প্রকল্পটি ব্যবহারকর্তাদের মডেলের আকার নির্বাচন করতে দেয়, যার মধ্যে ডিফল্ট হিসাবে Mini CPM 5 2B বা ছোট ডিভাইসের জন্য Qwen3 0.6B অন্তর্ভুক্ত রয়েছে, এবং সরাসরি সম্ভাবনা পড়ানো এবং টোকেন-দর-টোকেন জেনারেশনের মধ্যে কর্মক্ষমতা পার্থক্য মাপে। ব্যবহারকর্তারা Hugging Face থেকে পরিমাণিক ওজন লোড করেন, যা স্থানীয়ভাবে ক্যাশ্ড থাকে, ইনপুট পুরোপুরি পৃষ্ঠায় থাকে। পরীক্ষাটি দুটি পদ্ধতি তুলনা করে: সরাসরি পড়া, যা ডিকোডিং ছাড়াই প্রদান করা অপশনগুলিতে softmax স্বাভাবিক করে, এবং জেনারেশন, যা মডেলকে অপশন সম্ভাবনাগুলিকে JSON টেক্সট হিসাবে টোকেন-দর-টোকেন লিখতে বলে। উভয়ই একই লোডেড মডেলে ক্রমাগত চালানো হয় GPU আর্যতা এড়াতে। ওজনগুলি Hugging Face থেকে আসে এবং ব্রাউজার ক্যাশে থাকে। প্রথম মডেল লোডিংটি নির্বাচন, নেটওয়ার্ক এবং হার্ডওয়্যারের ওপর নির্ভর করে কয়েক মিনিট নিতে পারে। ডেমো wllama এর মাধ্যমে পিন্ড GGUF বিল্ড ব্যবহার করে, যা মন্তব্য করে যে পরিমাণিকরণ গুণমান এবং গতি উভয়কে প্রভাবিত করে। এই স্থানীয় পরীক্ষাটি অপেক্ষা তালিকা ছাড়াই তৎক্ষণাৎ অ্যাক্সেস প্রদান করে, যা ব্যবহারকর্তাদের তাদের ব্রাউজার পরিবেশে সরাসরি সিদ্ধান্ত মডেল কর্মক্ষমতা পরীক্ষা করতে দেয়।