OpenAI का GPT-6 Astra हमारे मानक हार्नेस के साथ ARC-AGI-3 सेमी-प्राइवेट पर $26K के लिए 62.7% और प्रोवाइडर एडाप्टर हार्नेस के साथ $19K के लिए 99.9% स्कोर करता है। दोनों अत्याधुनिक स्कोर हैं।
GPT-6 Astra ARC-AGI-3 पर क्रिया दक्षता में मानव आधार रेखा को पार करता है, 96% स्तरों पर परीक्षण किए गए मानव की माध्यिका से कम क्रियाओं का उपयोग करता है। यह अपरिचित वातावरण को कॉम्पैक्ट प्रतीकात्मक विश्व मॉडल में बदल देता है, गेम यांत्रिकी को तार्किक नियमों के रूप में प्रस्तुत करता है और अपनी स्वयं की डोमेन-विशिष्ट भाषा शॉर्टहैंड विकसित करता है।
ARC-AGI-3 नवीन, अमूर्त, टर्न-आधारित वातावरण के माध्यम से एजेंटिक बुद्धिमत्ता के लिए एक बेंचमार्क है। एजेंटों को अन्वेषण करना चाहिए, लक्ष्यों का अनुमान लगाना चाहिए, और क्रियाओं की योजना बनाने के लिए आंतरिक मॉडल बनाना चाहिए। मानव 100% वातावरण को हल कर सकते हैं। लक्ष्य वर्तमान AI और AGI के बीच अवशिष्ट अंतर को मापना है।
ARC-AGI-3 चार घटकों का परीक्षण करता है: अन्वेषण, मॉडलिंग, लक्ष्य-निर्धारण, और योजना/निष्पादन। उच्च तर्क स्तर आमतौर पर कम लागत के होते हैं क्योंकि Astra खेलों को कम क्रियाओं में हल करता है, मॉडल कॉल और टोकन कम करता है। लागत तुलना के लिए, मानव प्रतिभागियों को प्रति 90 मिनट सत्र $115 का भुगतान किया गया, साथ ही प्रति पूर्ण गेम $5।
मुख्य संस्थाएं: कंपनियां: OpenAI
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित