L'Indice d'Intelligence Artificielle v4.3.2 évalue les principaux modèles sur 10 benchmarks incluant AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience et AA-LCR v1.1. L'indice mis à jour mesure les capacités à travers le travail de connaissance agent, le raisonnement scientifique, l'ingénierie logicielle et les tâches juridiques. Aucune API publique n'est disponible pour interagir directement avec ces modèles.
Les évaluations sont pondérées pour calculer le coût par tâche, en tenant compte des prix des tokens d'entrée, de cache, de raisonnement et de réponse. Les modèles sont catégorisés par disponibilité commerciale, étiquetés comme "Utilisation Commerciale Restreinte" ou "Non-Commercial". L'indice fournit des indices de capacité mesurant la performance dans des industries et cas d'usage spécifiques, avec AA-Briefcase v1.1 servant de benchmark de travail de connaissance agent agrégant qualité analytique, présentation et taux de passage des grilles.
L'Indice AA-Omniscience évalue la fiabilité des connaissances et les taux d'hallucination. Bien que l'intelligence des modèles se traduise généralement across les cas d'usage, les évaluations spécifiques peuvent avoir plus de relevance selon l'application. L'analyse couvre la disponibilité des poids des modèles et les conditions de licence commerciale alongside les métriques de performance.
Source: Hacker News · Résumé par HeadlinesBriefing