Asanaは、CodexのGPT-6 AstraでGPT-6.1 Solの実験を行い、ブラウザエージェントのモデルコストを76分の1、速度を5倍に改善しました。Asanaは、買収したプラットフォームであるStack AIを通じて、顧客が業務アプリケーション全体の作業を自動化できるよう支援しています。Stack AIを使えば、顧客はコードを書かずに、ウェブサイトを移動し、フォームに入力し、情報を収集するワークフローを構築できます。Asanaの規模では、こうしたワークフローの小さな非効率が積み重なるため、Stack AIのCTOであるFrank Hidalgo, Ph Dは、ブラウザエージェントをより速く、より安く動かすことに取り組みました。彼はCodex内のGPT-6 Astraに、エージェントの調査、改善策のテスト、結果の比較を指示しました。手作業なら1〜2か月かかると見積もった作業が、約1週間で完了しました。
Asanaの144回の実行による研究では、GPT-6.1 Solと他の3つの最先端モデルをテストしました。GPT-6.1 Solで最適化されたワークフローの推定モデルコストは平均0.47ドル、1回の実行は約4分で、Model Bでの元の本番環境設定と比べて76分の1のコスト、5倍の速度でした。AsanaのCPOであるArnab Boseは、エンジニアが方向性を定め、GPT-6 Astraが実験を実行し、その結果がCommandを通じて本番環境に反映されるという、この取り組みの進め方を示したと述べています。
調査により、エージェントは固定の指示とツール定義はキャッシュしていたものの、ページのテキストやスクリーンショットの増え続ける履歴はキャッシュしていなかったことがわかりました。そのため、毎回のリクエストで、その履歴が全額料金で再送信されていたのです。Hidalgoは3つの変更を試しました。ブラウジング履歴までキャッシュを広げること、より多くのテキストを保持すること、スクリーンショットをまとめて削除することです。最も効果的だった方式は、スクリーンショットを20枚まで蓄積させてから最新の1枚に絞るもので、それによって過去の履歴をより長く変更せずに保てました。
各設定では、公開デモカタログにある32冊の本それぞれから6つのフィールドを収集しました。各セッションのリクエスト、データトレース、結果はすべてCommandに記録され、チームは後から研究全体を確認できました。得られた知見はチケットになり、その後プルリクエストになり、変更は本番環境に反映されました。
出典: OpenAI Blog · 要約：HeadlinesBriefing