কৃত্রিম বিশ্লেষণ বুদ্ধিমত্তা সূচকাংক v4.3.2 প্রধান মডেলগুলো ১০টি বেঞ্চমার্কে মূল্যায়ন করে যার মধ্যে AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience এবং AA-LCR v1.1 অন্তর্ভুক্ত। আপডেটেড সূচকাংক এজেন্ট জ্ঞানকার্য, বৈজ্ঞানিক যুক্তি, সফটওয়ার প্রকৌশল এবং আইনি কার্যকলাপে দক্ষতা পরিমাপ করে। এই মডেলগুলোর সাথে সরাসরি যোগাযোগের জন্য কোনো পাবলিক API নেই। মূল্যায়নগুলো প্রতি কার্যের খরচ হিসাব করতে ওজন দেয়া হয়, যেখানে ইনপুট, ক্যাশ, রিজনিং এবং উত্তর টোকেনের দাম বিবৃত হয়। মডেলগুলো বাণিজ্যিক প্রযোজ্যতার ভিত্তিতে শ্রেণীবিভাগ করা হয় এবং "বাণিজ্যিক ব্যবহার সীমিত" অथবা "অবাণিজ্যিক" লেবেল দেয়া হয়। সূচকাংক নির্দিষ্ট শিল্প এবং ব্যবহারের ক্ষেত্রে দক্ষতা পরিমাপের জন্য দক্ষতা সূচকাংক প্রদান করে, যেখানে AA-Briefcase v1.1 এজেন্ট জ্ঞানকার্য বেঞ্চমার্ক হিসাবে কাজ করে যা বিশ্লেষণ মান, উপস্থাপন এবং রুব্রিক পাসের হার একত্রিত করে। AA-Omniscience সূচকাংক জ্ঞানের বিশ্বাসযোগ্যতা এবং হ্যালুসিনেশনের হার মূল্যায়ন করে। যদিও মডেলের বুদ্ধিমত্তা সাধারণত ব্যবহারের ক্ষেত্রে অনুবাদিত হয়, নির্দিষ্ট মূল্যায়নগুলো প্রয়োগের উপর ভিত্তর করে অধিক প্রাসঙ্গিক হতে পারে। বিশ্লেষণে মডেলের ওজনের উপলব্ধতা এবং বাণিজ্যিক লাইসেন্সের শর্তাদি পরিমাপের মাত্রার সাথে-সাথে আলোচিত হয়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing