HeadlinesBriefing favicon HeadlinesBriefing.com

AI बुद्धिमत्ता सूचकांक v4.3 विश्लेषण

Hacker News •
×

Artificial Analysis बुद्धिमत्ता सूचकांक v4.3 में 10 मूल्यांकन शामिल हैं: AA-Briefcase, GDPval-AA v2, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience, AA-LCR v1.1। ब्रेकडाउन और इनकी चलाने के बारे में अधिक जानकारी के लिए Intelligence Index मेथडोलॉजी देखें।

यह संकेत देता है कि मॉडल वज़न क्या उपलब्ध हैं। मॉडल को "कमर्शियल यूज़ रिस्ट्रिक्टेड" कहा जाता है यदि वाणिज्यिक उपयोग सीमाओं के तहत सीमित है, और "नॉन-कमर्शियल" कहा जाता है यदि लाइसेंस वाणिज्यिक उपयोग को प्रतिबंधित करता है।

कौशल सूचकांक मॉडल के विशिष्ट कौशलों और उद्योगों पर मॉडल के प्रदर्शन को मापते हैं।

बुद्धिमत्ता मूल्यांकन Artificial Analysis द्वारा स्वतंत्र रूप से मापे जाते हैं · उच्चतम मूल्य बेहतर है।

एजेंटिक कोडिंग और टर्मिनल उपयोग पेशेवव दस्तावेज़ रीजनिंग सभी-पास मेडिकल लंबे संदर्भ का रीजनिंग जबकि मॉडल की बुद्धिमत्ता सामान्यतः उपयोग के मामलों में प्रसारित होती है, विशेष मूल्यांकन कुछ मामलों के लिए अधिक प्रासंगिक हो सकते हैं।

AA-Briefcase Elo एक संग्रहीत मेट्रिक है जो रूब्रिक पास रेट, एनालिटिकल गुणवत्ता Elo और प्रेज़ेंटेशन Elo को एगregate करता है। Elo और 95% विश्वास सीमा सीमाएँ 0 पर क्लैंप की गई हैं।

AA-Omniscience सूचकांक (उच्चतम मूल्य बेहतर है) ज्ञान विश्वसनीयता और हैलुसिनेशन को मापता है। यह सही उत्तरों को पुरस्थापित करता है, हैलुसिनेशन को दंडित करता है, और जवाब न देने पर दंड नहीं होता है। स्कोर -100 से 100 तक के बीच होते हैं।

मुख्य इकाईओं: कंपनियाँ: Artificial Analysis