A Asana reduziu em 76 vezes os custos de modelo e acelerou em 5 vezes seu agente de navegador, usando o GPT-6 Astra no Codex para conduzir experimentos sobre o GPT-6.1 Sol. A Asana ajuda clientes a automatizar o trabalho em aplicativos empresariais por meio do Stack AI, uma plataforma que ela adquiriu. Com o Stack AI, os clientes podem criar fluxos de trabalho que navegam em sites, preenchem formulários e reúnem informações sem escrever código. Na escala da Asana, pequenas ineficiências nesses fluxos se acumulam, então Frank Hidalgo, Ph D, diretor de tecnologia do Stack AI, decidiu tornar o agente de navegador mais rápido e mais barato de executar. Ele direcionou o GPT-6 Astra no Codex para investigar o agente, testar melhorias e comparar os resultados. Um trabalho que ele estima que levaria um a dois meses feito manualmente levou cerca de uma semana.
O estudo da Asana, com 144 execuções, testou o GPT-6.1 Sol e outros três modelos de fronteira. O fluxo otimizado no GPT-6.1 Sol teve custo médio estimado de modelo de US$ 0,47 e cerca de quatro minutos por execução, 76 vezes mais barato e 5 vezes mais rápido que a configuração de produção original no Modelo B. Arnab Bose, diretor de produtos da Asana, disse que o trabalho mostrou como um engenheiro pode definir o rumo enquanto o GPT-6 Astra executa os experimentos e os resultados passam pelo Command até a produção.
A investigação descobriu que o agente armazenava em cache suas instruções fixas e definições de ferramentas, mas não o histórico crescente de texto das páginas e capturas de tela, de modo que cada solicitação reenviava esse histórico por preço integral. Hidalgo testou três mudanças: estender o cache ao histórico de navegação, reter mais texto e remover capturas de tela em lotes. A melhor política deixava as capturas acumularem até 20 antes de reduzi-las à mais recente, mantendo o histórico anterior inalterado por mais tempo.
Cada configuração coletou seis campos de cada um dos 32 livros de um catálogo de demonstração público. As solicitações, rastros de dados e resultados de cada sessão foram registrados no Command, para que a equipe pudesse revisar o estudo depois. As conclusões viraram tickets, depois pull requests, e as alterações foram para a produção.
Fonte: OpenAI Blog · Resumido por HeadlinesBriefing