OpenAI の GPT-6 Astra は、当社の標準ハーネスを使用した ARC-AGI-3 Semi-Private で 26K ドル で 62.7%、プロバイダーアダプターハーネスを使用した場合 19K ドル で 99.9% を達成しました。どちらも最先端のスコアです。

GPT-6 Astra は ARC-AGI-3 のアクション効率で人間のベースラインを上回り、96% のレベルでテストされた人間の中央値よりも少ないアクションを使用します。未知の環境をコンパクトな記号的世界モデルに変換し、ゲームメカニクスを論理ルールとして表現し、独自のドメイン固有言語の略語を開発します。

ARC-AGI-3 は、斬新で抽象的なターン制環境を通じてエージェント的知能を研究するためのベンチマークです。エージェントは探索し、目標を推測し、行動を計画するための内部モデルを構築する必要があります。人間は環境の 100% を解決できます。目標は、現在の AI と AGI の間の残存ギャップを測定することです。

ARC-AGI-3 は、探索、モデリング、目標設定、計画/実行の 4 つのコンポーネントをテストします。Astra はより少ないアクションでゲームを解決するため、モデル呼び出しとトークンが削減され、より高い推論レベルは一般的にコストが低くなります。コスト比較のため、人間の参加者には 90 分のセッションごとに 115 ドル、完了したゲームごとに 5 ドルが支払われました。

主要エンティティ: 企業: OpenAI