Искусственный Анализ Индекс Интеллекта v4.3.2 оценивает основные модели по 10 бенчмаркам, включая AA-Briefcase v1.1, GDPval-AA v2.1, Automation Bench-AA, Terminal-Bench 4.0, Sci Code, Humanity's Last Exam, GDP.pdf, Crit Pt, AA-Omniscience и AA-LCR v1.1. Обновленный индекс измеряет способности в агентном знании, научном рассуждении, программной инженерии и юридических задачах. Нет публичного API для прямого взаимодействия с этими моделями. Оценки взвешиваются для расчета стоимости на задачу, с учетом цен на входные, кэш, рассуждения и ответные токены. Модели categorize по коммерческой доступности, помеченные как "Commercial Use Restricted" или "Non-commercial". Индекс предоставляет индексы способности, измеряющие производительность в конкретных отраслях и вариантах использования, где AA-Briefcase v1.1 служит бенчмарком агентного знания, агрегируя качество анализа, презентацию и процент прохождения критериев. Индекс AA-Omniscience оценивает надежность знаний и уровень галлюцинаций. Несмотря на то, что интеллект моделей обычно переносится между вариантами использования, конкретные оценки могут иметь большее значение в зависимости от приложения. Анализ охватывает доступность весов моделей и условия коммерческой лицензии наряду с метриками производительности.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing