Artificial Analysis ने उपभोक्ता निष्कर्षण प्रणाली बेंचमार्क जारी किए हैं जो मोबाइल हार्डवेयर पर AI मॉडल के प्रदर्शन का मूल्यांकन करते हैं, विशेष रूप से iPhone 17 Pro पर। अध्ययन पाँच मूल्यांकनों का सरल औसत उपयोग करता है — — BFCL (उपसमुच्चय), IFBench, AA-Omniscience, GPQA Diamond और MATH-500 — — जो वास्तविक दुनिया के मोबाइल उपकरण उपयोग का प्रतिनिधित्व करने के लिए चुने गए हैं। संदर्भ अधिकतम 16K टोकन तक सीमित है।

बुद्धिमत्ता स्कोर मॉडल की क्षमता को मापते हैं उपकरण कॉलिंग, निर्देश पालन, ज्ञान सटीकता, non-हलूसिनेशन दर, वैज्ञानिक तर्क और मात्रात्मक तर्क में। उच्च स्कोर बेहतर प्रदर्शन दर्शाते हैं।

एंड-टू-एंड जनरेशन समय कुल वॉल-क्लॉक सेकंड को ट्रैक करता है जो एक 1,024-टोकन प्रॉम्प्ट को प्रोसेस करने और एक 256-टोकन प्रतिक्रिया उत्पन्न करने में लगता है। कम समय बेहतर होते हैं। परिणाम मूलभूत हार्डवेयर और आर्किटेक्चर सीमाओं को दर्शाते हैं, वर्बोसिटी प्रभावों को छोड़कर।

टोकन दक्षता संदर्भ बजट अतिक्रमण को ट्रैक करती है — — पीढ़ियाँ जो 16K-टोकन सीमा पर रुक जाती हैं बजाय पूरा करने के। उपकरण के लिए बहुत बड़े मॉडल या समय सीमा से अधिक लेने वाले मॉडल को प्रदर्शन माप से बाहर रखा जाता है।

मुख्य इकाइयाँ: कंपनियाँ: Artificial Analysis