Artificial Analysis 智能指数 v4.3.2 评估主流模型在十大基准测试中的表现，包括 AA-Briefcase v1.1、GDPval-AA v2.1、Automation Bench-AA、Terminal-Bench 4.0、Sci Code、Humanity's Last Exam、GDP.pdf、Crit Pt、AA-Omniscience 与 AA-LCR v1.1。该指数衡量模型在代理知识工作、科学推理、软件工程及法律任务方面的能力。目前尚无公开 API 可直接交互这些模型。评估通过加权计算每个任务的成本，综合考虑输入、缓存、推理与答案 token 价格。模型按商业可用性分类，标注为“商业使用受限”或“非商业”。该指数提供特定行业与使用场景下的能力指数，其中 AA-Briefcase v1.1 作为代理知识工作基准，整合分析质量、演示效果与评分通过率。AA-Omniscience 指数评估知识可靠性与幻觉率。尽管模型智能通常可跨场景迁移，但具体评估结果可能因应用场景而异。分析内容涵盖模型权重可用性、商业许可条款及性能指标。
来源: Hacker News · 由HeadlinesBriefing整理摘要