Artificial Analysis publica Sistemas de Inferencia para Consumidores referencias que evalúan el rendimiento de modelos de IA en hardware móvil, específicamente el iPhone 17 Pro. El estudio utiliza un promedio simple de cinco evaluaciones — — BFCL (subconjunto), IFBench, AA-Omniscience, GPQA Diamond y MATH-500 — — elegidas para representar el uso real de dispositivos móviles. El contexto está limitado a un máximo de 16K tokens.

Las puntuaciones de inteligencia miden la capacidad del modelo en llamadas a herramientas, seguimiento de instrucciones, precisión del conocimiento, tasa de no alucinación, razonamiento científico y razonamiento cuantitativo. Puntuaciones más altas indican mejor rendimiento.

El tiempo de generación de extremo a extremo rastrea los segundos totales de reloj de pared para procesar un prompt de 1,024 tokens y generar una respuesta de 256 tokens. Tiempos más bajos son mejores. Los resultados reflejan restricciones fundamentales de hardware y arquitectura, excluyendo efectos de verbosidad.

La eficiencia de tokens rastrea los excesos del presupuesto de contexto — — generaciones que se detienen en el límite de 16K tokens en lugar de completarse. Los modelos demasiado grandes para el dispositivo o que exceden los límites de tiempo se omiten de las mediciones de rendimiento.

Entidades clave: Empresas: Artificial Analysis