Artificial Analysis は GLM-5.3-Flash モデル分析を発表します。Artificial Analysis インテリジェンス指数 v4.1.1 には、GDPval-AA v2、𝜏³-Banking、Terminal-Bench v2.1、Sci Code、Humanity's Last Exam、GPQA Diamond、Crit Pt、AA-Omniscience、AA-LCR の 9 つの評価が含まれています。推論モデルは電球アイコンで示されます。

インテリジェンス指数にはこれらの評価が含まれ、方法論の詳細が利用可能です。商用利用が制限されている場合、モデルは「商用利用制限」、ライセンスが商用利用を禁止している場合は「非商用」とラベル付けされます。インテリジェンス評価は Artificial Analysis によって独立して測定され、スコアが高いほど優れています。

AA-Omniscience 指数は、知識の信頼性と幻覚を測定します。正しい回答に報酬を与え、幻覚を罰し、回答拒否にはペナルティはありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

比較には、インテリジェンス指数とタスクあたりのコストが含まれ、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークン価格からの加重平均コストを使用します。トークン使用量は、インテリジェンス指数タスクあたりの出力トークンとして測定され、評価ごとの出力トークンにベンチマークの重みを掛けて計算されます。

主要エンティティ：企業：Artificial Analysis