HeadlinesBriefing favicon HeadlinesBriefing.com

تحليل الذكاء والأداء والسعر لميركوري 2.5

Hacker News •
×

مؤشر الذكاء للتحليل الاصطناعي v4.3.2 يشتمل على 10 تقييمات: AA-بريفكيس v1.1، GDPval-AA v2.1، معيار الأتمتة-AA، محطة-المعايير 4.0، علم الشفرات، آخر امتحان للبشرية، GDP.pdf، نقطة حرجة، AA-العلم الشامل، AA-LCR v1.1. يقيس المؤشر النماذج ذات الأوزان المفتوحة مقابل النماذج الخاصة، مع علامات للقيود على الاستخدام التجاري. AA-بريفكيس v1.1 هو معيار عمل معرفة وكيل يجمع بين معدل النجاح في المعيار، جودة التحليل إيلو، وجودة العرض إيلو. تتراوح درجات مؤشر AA-العلم الشامل من -100 إلى 100، وتقيس موثوقية المعرفة والهلوسة دون عقوبة على الرفض. يحسب مؤشر التكلفة لكل مهمة ذكاء المتوسط المرجح بالدولار الأمريكي لتكلفة الدخل، ضربات التخزين، كتابة التخزين، الاستدلال، وأسعار رموز الإجابة مقسومة على عدد المهام. بشكل عام، يترجم ذكاء النموذج عبر حالات الاستخدام، على الرغم من أن بعض التقييمات قد تكون أكثر صلة بتطبيقات معينة. تتضمن المنهجية تفصيلاً لكل تقييم وكيفية إجرائها.