人工分析 智能指数 v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、Automation Bench-AA、Terminal-Bench 4.0、Sci Code、Humanity's Last Exam、GDP.pdf、Crit Pt、AA-Omniscience、AA-LCR v1.1を含む10のベンチマークで主要モデルを評価します。更新された指数は、エージェント知識作業、科学的推論、ソフトウェア工学、法律タスクにわたる能力を測定します。これらのモデルと直接対話できる公開APIは存在しません。評価は、入力、キャッシュ、推論、回答の各区間価格を考慮してタスクごとのコストを計算するための重み付けが行われます。モデルは商用可用性に基づいて分類され、「商用使用制限」と「非商用」とラベル付けされます。指数は、特定の業界と使用ケースにおけるパフォーマンスを測定する能力指数を提供し、AA-Briefcase v1.1は分析質、提示、ルーブリック通過率を集約するエージェント知識作業のベンチマークとして機能します。AA-Omniscience指数は知識の信頼性と幻覚率を評価します。モデルの知能は通常、使用ケース間で転移しますが、特定の評価は応用によってより関連性が高くなる可能性があります。分析は、モデルの重みの可用性と商用ライセンス条件、およびパフォーマンス指標をカバーします。
出典: Hacker News · 要約：HeadlinesBriefing