HeadlinesBriefing favicon HeadlinesBriefing.com

मर्करी 2.5 बुद्धिमत्ता, प्रदर्शन एवं मूल्य विश्लेषण

Hacker News •
×

कृत्रिम विश्लेषण बुद्धिमत्ता सूचकांक v4.3.2 में 10 मूल्यांकन शामिल हैं: AA-ब्रीफकेस v1.1, GDPval-AA v2.1, ऑटोमेशन बेंच-AA, टर्मिनल बेंच 4.0, साइंस कोड, मानवता का अंतिम परीक्षा, GDP.pdf, आलोचनात्मक बिंदु, AA-ऑम्निसाइंस, AA-LCR v1.1। सूचकांक खुले वजन वाले मॉडल और स्वामित्व वाले मॉडल को मापता है, वाणिज्यिक उपयोग प्रतिबंधों के लिए लेबल के साथ। AA-ब्रीफकेस v1.1 एक एजेंटिक ज्ञान कार्य बेंचमार्क है जो रूब्रिक पास दर, विश्लेषणात्मक गुणवत्ता ईलो और प्रस्तुति गुणवत्ता ईलो को जोड़ता है। AA-ऑम्निसाइंस सूचकांक के स्कोर -100 से 100 तक होते हैं, जो ज्ञान की विश्वसनीयता और हलूसिनेशन को मापते हैं, इनकार के लिए कोई दंड नहीं। बुद्धिमत्ता प्रति कार्य लागत सूचकांक इनपुट, कैश हिट, कैश राइट, तर्क और उत्तर टोकन की कीमतों का भारित औसत USD लागत को कार्य की संख्या से विभाजित करके गणना करता है। मॉडल की बुद्धिमत्ता सामान्य रूप से उपयोग के मामलों में अनुवादित होती है, हालांकि विशिष्ट मूल्यांकन कुछ अनुप्रयोगों के लिए अधिक प्रासंगिक हो सकते हैं। पद्धति में प्रत्येक मूल्यांकन का विवरण और उन्हें कैसे चलाया जाता है, इसका विवरण शामिल है।