Artificial Analysis publica os benchmarks de Sistemas de Inferência para Consumidores que avaliam o desempenho de modelos de IA em hardware móvel, especificamente o iPhone 17 Pro. O estudo utiliza uma média simples de cinco avaliações — — BFCL (subconjunto), IFBench, AA-Omniscience, GPQA Diamond e MATH-500 — — escolhidas para representar o uso real de dispositivos móveis. O contexto é limitado a um máximo de 16K tokens.
As pontuações de inteligência medem a capacidade do modelo em chamada de ferramentas, seguimento de instruções, precisão do conhecimento, taxa de não-alucinação, raciocínio científico e raciocínio quantitativo. Pontuações mais altas indicam melhor desempenho.
O tempo de geração de ponta a ponta rastreia os segundos totais do relógio de parede para processar um prompt de 1,024 tokens e gerar uma resposta de 256 tokens. Tempos menores são melhores. Os resultados refletem as restrições fundamentais de hardware e arquitetura, excluindo os efeitos de verbosidade.
A eficiência de tokens rastreia os excessos do orçamento de contexto — — gerações que param no limite de 16K tokens em vez de serem concluídas. Modelos muito grandes para o dispositivo ou que excedem os limites de tempo são excluídos das medições de desempenho.
Entidades-chave: Empresas: Artificial Analysis
Fonte: Hacker News · Resumido por HeadlinesBriefing