Artificial Analysis GLM-5.3-Flash मॉडल विश्लेषण प्रस्तुत करता है। Artificial Analysis बुद्धिमत्ता सूचकांक v4.1.1 में 9 मूल्यांकन शामिल हैं: GDPval-AA v2, 𝜏³-Banking, Terminal-Bench v2.1, Sci Code, Humanity's Last Exam, GPQA Diamond, Crit Pt, AA-Omniscience, AA-LCR। तर्क मॉडल को प्रकाश बल्ब आइकन द्वारा दर्शाया गया है।

बुद्धिमत्ता सूचकांक में ये मूल्यांकन शामिल हैं, पद्धति विवरण उपलब्ध हैं। यदि व्यावसायिक उपयोग सीमित है तो मॉडल को 'व्यावसायिक उपयोग प्रतिबंधित' या यदि लाइसेंस व्यावसायिक उपयोग को प्रतिबंधित करता है तो 'गैर-व्यावसायिक' लेबल किया जाता है। बुद्धिमत्ता मूल्यांकन Artificial Analysis द्वारा स्वतंत्र रूप से मापा जाता है, उच्च स्कोर बेहतर होते हैं।

AA-Omniscience सूचकांक ज्ञान विश्वसनीयता और मतिभ्रम को मापता है। यह सही उत्तरों को पुरस्कृत करता है, मतिभ्रम को दंडित करता है, और उत्तर देने से इनकार करने पर कोई दंड नहीं देता। स्कोर -100 से 100 तक होते हैं, जहां 0 का मतलब है उतने ही सही उत्तर जितने गलत, और नकारात्मक स्कोर का मतलब है गलत उत्तर अधिक।

तुलना में बुद्धिमत्ता सूचकांक बनाम प्रति कार्य लागत शामिल है, जिसमें इनपुट, कैश हिट, कैश राइट, तर्क और उत्तर टोकन मूल्यों से भारित औसत लागत का उपयोग किया जाता है। टोकन उपयोग को प्रति बुद्धिमत्ता सूचकांक कार्य आउटपुट टोकन के रूप में मापा जाता है, जिसकी गणना प्रति मूल्यांकन आउटपुट टोकन को बेंचमार्क भार से गुणा करके की जाती है।

प्रमुख संस्थाएँ: कंपनियाँ: Artificial Analysis