Unsloth এর Dynamic v3.0 GGUFs প্রকাশনা, যা অন্যান্য প্রদায়কদের সাথে তুলনায় সমান মডেল আকারে 10% বেশি ভালো top-1% নির্ভুলতা প্রদান করে। নতুন Qwen3.8-27B Dynamic v3.0 কোয়ান্টগুলি অধিকাংশ ইনফারেন্স ইঞ্জিনের সাথে কাজ করে, যার মধ্যে llama.cpp এবং Unsloth Desktop অন্তর্ভুক্ত।
এই পদ্ধতিটি এজেন্টিক কোডিং, চ্যাট এবং বহুভাষিক কর্মক্ষমতার জন্য অপ্টিমাইজড উচ্চ-গুণমানের imatrix ক্যালিব্রেশন ডেটাসেট ব্যবহার করে। উন্নয়নের মধ্যে মডেলের গুণমান বজায় রাখতে আরও ভালো লেয়ার নির্বাচন এবং অতিরিক্ত কোয়ান্টাইজেশন প্রযুক্তি অন্তর্ভুক্ত রয়েজ। টিম QAT বা QAD ব্যবহার করে না, শুধুমাত্র প্রশিক্ষণের পরের কোয়ান্টাইজেশন নির্ভর করে।
উল্লেখযোগ্য তথ্য হলো, মাত্র 5 দিনে 5.1 মিলিয়ন ডাউনলোড রেকর্ড করা হয়েছে। UD-Q2_K_XL (8.37GB এবং কম) এর অধীনে ছোট কোয়ান্টগুলি ডিস্ক স্পেস বাঁচাতে MTP মডিউল সরিয়ে দিয়েছে। UD-IQ1_S 1-বিট কোয়ান্ট 6.2GB যখন আরও প্রায় 72% top-1% নির্ভুলতা বজায় রাখে।
টিম একটি আরও কার্যকরী মেট্রিক হিসেবে Divergence-300 @32 উপস্থাপন করেছে, যা 32 টোকেনের ওভার 300টি সংরক্ষিত উদাহরণ ব্যবহার করে গ্রীডি argmax ডিকোডিং করে। এটি মডেলের অতিমানন এবং BF16 ভিত্তানুসারে আউটপুটের অনুমিলন মাপার জন্য KL বিচ্যুতি মাপে। ফলাফল দেখায় যে, UD-3 কোয়ান্টগুলি সমস্ত স্তরে অতিরিক্ত 10% top-1% নির্ভুলতা অর্জন করে, বিশেষ করে ছোট কোয়ান্ট আকারে।
গুরুত্বপূর্ণ সম্পদ: কোম্পানিগুলি: Unsloth
উৎস: Hacker News · সারাংশ: HeadlinesBriefing