Artificial Analysis представляет анализ модели GLM-5.3-Flash. Индекс интеллекта Artificial Analysis v4.1.1 включает 9 оценок: GDPval-AA v2, 𝜏³-Banking, Terminal-Bench v2.1, Sci Code, Humanity's Last Exam, GPQA Diamond, Crit Pt, AA-Omniscience, AA-LCR. Модели рассуждений обозначены значком лампочки.

Индекс интеллекта включает эти оценки, с доступными деталями методологии. Модели помечаются как 'Ограниченное коммерческое использование', если коммерческое использование ограничено, или 'Некоммерческое', если лицензия запрещает коммерческое использование. Оценки интеллекта измеряются независимо Artificial Analysis, при этом более высокие баллы лучше.

Индекс AA-Omniscience измеряет надежность знаний и галлюцинации. Он вознаграждает правильные ответы, наказывает галлюцинации и не наказывает за отказ отвечать. Баллы варьируются от -100 до 100, где 0 означает столько же правильных ответов, сколько и неправильных, а отрицательные баллы означают больше неправильных, чем правильных.

Сравнения включают индекс интеллекта по сравнению со стоимостью за задачу, используя средневзвешенную стоимость из цен на токены ввода, попадания в кэш, записи в кэш, рассуждения и ответа. Использование токенов измеряется как выходные токены на задачу индекса интеллекта, рассчитываемое путем умножения выходных токенов на оценку на веса бенчмарка.

Ключевые субъекты: Компании: Artificial Analysis