Artificial Analysis উপভোক্তা অনুমান সিস্টেম বেঞ্চমার্ক প্রকাশ করেছে যা মোবাইল হার্ডওয়্যারে AI মডেলের কর্মক্ষমতা মূল্যায়ন করে, বিশেষ করে iPhone 17 Pro-এ। গবেষণা পাঁচ মূল্যায়নের সরল গড় ব্যবহার করে — — BFCL (উপসেট), IFBench, AA-Omniscience, GPQA Diamond এবং MATH-500 — — বাস্তব বিশ্বের মোবাইল ডিভাইস ব্যবহারকে উপস্থাপন করার জন্য বেছে নেওয়া হয়েছে। প্রেক্ষাপটটি 16K টোকেন সর্বোচ্চ পর্যন্ত সীমাবদ্ধ।

বুদ্ধিমত্তা স্কোর মডেলের ক্ষমতা মäter টুল কলিং, নির্দেশ অনুসরণ, জ্ঞানের সঠিকতা, non-হ্যালুসিনেশন হার, বৈজ্ঞানিক তর্ক এবং পরিমাণগত তর্কে। উচ্চ স্কোর ভালো কর্মক্ষমতা নির্দেশ করে।

এন্ড-টু-এন্ড জেনারেশন সময় মোট দেওয়াল-ঘড়ি সেকেন্ড ট্র্যাক করে যা একটি 1,024-টোকেন প্রম্পট প্রক্রিয়া করতে এবং একটি 256-টোকেন প্রতিক্রিয়া তৈরি করতে লাগে। কম সময় ভালো। ফলাফল মৌলিক হার্ডওয়্যার এবং আর্কিটেকচার সীমাবদ্ধতাকে প্রতিফলিত করে, বর্বসিটি প্রভাব বাদ দিয়ে।

টোকেন দক্ষতা কনটেক্সট বাজেট অতিক্রম ট্র্যাক করে — — প্রজন্ম যা 16K-টোকেন সীমা पर রুকে যায় বদলে সম্পূর্ণ হওয়ার পরিবর্তে। ডিভাইসের জন্য খুব বড় মডেল বা সময় সীমা অতিক্রম করে এমন মডেলকে কর্মক্ষমতা মাপ থেকে বাদ দেওয়া হয়।

মुख্য entidades: কোম্পানিগুলো: Artificial Analysis