Artificial Analysis menerbitkan benchmark Sistem Inferensi Konsumen yang mengevaluasi performa model AI pada perangkat keras seluler, khususnya iPhone 17 Pro. Studi ini menggunakan rata-rata sederhana dari lima evaluasi — — BFCL (subset), IFBench, AA-Omniscience, GPQA Diamond dan MATH-500 — — yang dipilih untuk mewakili penggunaan perangkat seluler dalam dunia nyata. Konteks dibatasi maksimal 16K token.

Skor kecerdasan mengukur kemampuan model dalam pemanggilan alat, mengikuti instruksi, akurasi pengetahuan, tingkat non-halucinasi, penalaran ilmiah, dan penalaran kuantitatif. Skor yang lebih tinggi menunjukkan performa yang lebih baik.

Waktu generasi end-to-end melacak total detik dinding jam untuk memproses prompt 1,024 token dan menghasilkan respons 256 token. Waktu yang lebih rendah lebih baik. Hasil mencerminkan keterbatasan perangkat keras dan arsitektur dasar, tanpa memengaruhi efek verbositas.

Efisiensi token melacak pemborosan anggaran konteks — — generasi yang berhenti pada batas 16K token alih-alih diselesaikan. Model yang terlalu besar untuk perangkat atau melebihi batas waktu diucapkan dari pengukuran performa.

Entitas kunci: Perusahaan: Artificial Analysis