Artificial Analysis は 消費者推論システム ベンチマークを発表し、モバイル ハードウェア上の AI モデルのパフォーマンスを評価しています。具体的には iPhone 17 Pro です。この研究は、5 つの評価の単純平均を使用しています — — BFCL (サブセット)、IFBench、 AA-Omniscience、 GPQA Diamond、および MATH-500 — — これらは実際のモバイル デバイスの使用を表すために選択されています。コンテキストは最大 16K トークン に制限されています。

インテリジェンス スコアは、ツール呼び出し、指示の遵守、知識の正確性、幻覚率の低さ、科学的推論、および定量的推論におけるモデルの能力を測定します。スコアが高いほどパフォーマンスが良いことを示します。

エンドツーエンド生成時間は、1,024 トークンのプロンプト を処理し、256 トークンのレスポンス を生成するための合計ウォールクロック秒数を追跡します。時間が短いほど良いです。結果は、基本的なハードウェアとアーキテクチャの制約を反映しており、冗長性の影響は除外されています。

トークン効率は、コンテキスト予算のオーバーランを追跡します — — 16K トークンの制限で停止する生成は、完了ではなく、そのように扱われます。デバイスに対して大きすぎるモデルまたは時間制限を超えるモデルは、パフォーマンス測定から除外されます。

主要なエンティティ: 会社: Artificial Analysis