El Índice de Inteligencia Artificial v4.3.2 evalúa los modelos principales en diez benchmarks, incluyendo AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience y AA-LCR v1.1. El índice actualizado mide la capacidad a través del trabajo de conocimiento agente, razonamiento científico, ingeniería de software y tareas legales. No existe una API pública para interactuar directamente con estos modelos.
Las evaluaciones se ponderan para calcular el costo por tarea, teniendo en cuenta los precios de entrada, cache, razonamiento y respuestas de tokens. Los modelos se categorizan por disponibilidad comercial, etiquetados como "Uso Comercial Restringido" o "No Comercial". El índice proporciona índices de capacidad que miden el rendimiento en industrias y casos de uso específicos, con AA-Briefcase v1.1 sirviendo como benchmark de trabajo de conocimiento agente que agrega calidad analítica, presentación y tasas de aprobación de rúbricas.
El Índice AA-Omniscience evalúa la confiabilidad del conocimiento y las tasas de alucinación. Si bien la inteligencia del modelo generalmente se traduce a través de los casos de uso, las evaluaciones específicas pueden tener más relevancia dependiendo de la aplicación. El análisis cubre la disponibilidad de pesos del modelo y los términos de licencia comercial junto con las métricas de rendimiento.
Fuente: Hacker News · Resumido por HeadlinesBriefing