Artificial Analysis публикует бенчмарки систем вывода для потребителей, оценивающие производительность моделей ИИ на мобильном оборудовании, конкретно iPhone 17 Pro. Исследование использует простое среднее из пяти оценок — — BFCL (подмножество), IFBench, AA-Omniscience, GPQA Diamond и MATH-500 — — выбранных для представления реального использования мобильных устройств. Контекст ограничен максимумом 16K токенов.

Баллы интеллекта измеряют способность модели к вызову инструментов, следованию инструкциям, точности знаний, отсутствию галлюцинаций, научному рассуждению и количественному рассуждению. Более высокие баллы указывают на лучшую производительность.

Время генерации от конца до конца отслеживает общее количество секунд стенного времени для обработки подсказки из 1,024 токенов и генерации ответа из 256 токенов. Меньшее время лучше. Результаты отражают фундаментальные ограничения оборудования и архитектуры, исключая эффекты многословия.

Эффективность использования токенов отслеживает превышение бюджета контекста — — генерации, которые останавливаются при достижении лимита в 16K токенов вместо завершения. Модели, слишком большие для устройства или превышающие временные ограничения, исключаются из измерений производительности.

Ключевые сущности: Компании: Artificial Analysis