يevaluate فهرس الذكاء الاصطناعي v4.3.2 النماذج الرئيسية عبر 10 معايير قياسية تشمل AA-Briefcase v1.1، GDPval-AA v2.1، Automation Bench-AA، Terminal-Bench 4.0، Sci Code، Humanity's Last Exam، GDP.pdf، Crit Pt، AA-Omniscience، و AA-LCR v1.1. يقيس الفهرس المحدث القدرات عبر العمل المعرفي-Agent، والتحليل العلمي، وهندسة البرمجيات، والمهمات القانونية. لا توجد واجهة برمجة تطبيقات عامة متاحة للتفاعل المباشر مع هذه النماذج. تُزن التقييمات لحساب التكلفة لكلtask، مع مراعاة أسعار tokens الدخول، والكاش، والتحليل، والإجابة. تُصنف النماذج حسب المتاحة تجارياً، وُسِّمت كـ "Restricte للاستخدام التجاري" أو "غير تجاري". يقدّم الفهرس فهارس قدرة تقيس الأداء في الصناعات و حالات الاستخدام المحددة، مع اعتبار AA-Briefcase v1.1 معيار العمل المعرفي-Agent يجمع جودة التحليل، والعرض، ومعدلات نجاح المعايير. يقيس فهرس AA-Omniscience موثوقية المعرفة ومعدلات الهلوس. رغم أن ذكاء النماذج يtranslated عادةً عبر حالات الاستخدام، إلا أن التقييمات المحددة قد تكون أكثر relevance حسب応用. يغطي التحليل توفر أوزان النماذج وبنود الترخص التجاري إلى جانب metrics الأداء.
المصدر: Hacker News · لخّصه HeadlinesBriefing