O Índice de Inteligência Artificial v4.3.2 evalua os principais modelos em 10 benchmarks incluindo AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience e AA-LCR v1.1. O índice atualizado mede capacidades em trabalho de conhecimento agente, raciocínio científico, engenharia de software e tarefas legais. Não existe API pública para interação direta com esses modelos.
As avaliagens são ponderadas para calcular o custo por tarefa, considerando preços de tokens de entrada, cache, raciocínio e resposta. Os modelos são categorizados por disponibilidade comercial, rotulados como "Uso Comercial Restrito" ou "Não-Comercial". O índice fornece índices de capacidade medindo desempenho em indústria e casos de uso específicos, com AA-Briefcase v1.1 servindo como benchmark de trabalho de conhecimento agente que agrega qualidade analítica, apresentação e taxas de aprovação de rubricas.
O Índice AA-Omniscience avala confiabilidade do conhecimento e taxas de alucinação. Embora a inteligência dos modelos geralmente se traduz entre os casos de uso, avaliagens específicas podem ter mais relevância dependendo da aplicação. A análise cobre disponibilidade de pesos dos modelos e termos de licença comercial ao lado de métricas de desempenho.
Fonte: Hacker News · Resumido por HeadlinesBriefing