कृत्रिम विश्लेषण बुद्धिमत्ता सूचकांक v4.3.2 मुख्य मॉडलों का 10 बेंचमार्क में मूल्यांकन करता है जिसमें AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience और AA-LCR v1.1 शामिल हैं। अपडेटेड सूचकांक एजेंट ज्ञान कार्य, वैज्ञानिक तर्क, सॉफ्टवेयर इंजीनियरिंग और कानूनी कार्यों में क्षमता मापता है। इन मॉडलों के साथ सीधे संप्रेषण के लिए कोई सार्वजनिक API उपलब्ध नहीं है। मूल्यांकन को प्रति कार्य लागत की गणना के लिए भारित किया जाता है, जिसमें इनपुट, कैश, तर्क और उत्तर टोकन की कीमतें शामिल हैं। मॉडलों को वाणिज्यिक उपलब्धता के आधार पर वर्गीकृत किया जाता है और उन्हें "वाणिज्यिक उपयोग प्रतिबंधित" या "गैर-वाणिज्यिक" लेबल दिया जाता है। सूचकांक विशिष्ट उद्योगों और उपयोग मामलों में प्रदर्शन मापने वाले क्षमता सूचकांक प्रदान करता है, जहाँ AA-Briefcase v1.1 एजेंट ज्ञान कार्य के मानक के रूप में कार्य करता है जो विश्लेषण गुण, प्रस्तुति और रूब्रिक पास दरों को एकत्रित करता है। AA-Omniscience सूचकांक ज्ञान विश्वासनीयता और हैलुसिनेशन दरों का मूल्यांकन करता है। हालाँकि मॉडल की बुद्धिमत्ता आमतौर पर उपयोग मामलों में व्यापक रूप से अनुवादित होती है, विशिष्ट मूल्यांकन आवश्यकता के आधार पर अधिक प्रासंगिक हो सकते हैं। विश्लेषण मॉडल वेट्स की उपलब्धता और वाणिज्यिक लाइसेंसिंग शर्तों को प्रदर्शन मैट्रिक्स के साथ-साथ कवर करता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित