Asana a réduit de 76 fois les coûts de modèle et accéléré de 5 fois son agent de navigation, en utilisant GPT-6 Astra dans Codex pour mener des expériences sur GPT-6.1 Sol. Asana aide ses clients à automatiser le travail entre les applications professionnelles grâce à Stack AI, une plateforme qu'elle a acquise. Avec Stack AI, les clients peuvent créer des flux de travail qui naviguent sur des sites web, remplissent des formulaires et recueillent des informations sans écrire de code. À l'échelle d'Asana, les petites inefficacités de ces flux s'accumulent ; le directeur technique de Stack AI, Frank Hidalgo, Ph D, a donc entrepris de rendre l'agent de navigation plus rapide et moins coûteux à exécuter. Il a chargé GPT-6 Astra dans Codex d'examiner l'agent, de tester des améliorations et de comparer les résultats. Un travail qu'il estime à un ou deux mois à la main a pris environ une semaine.
L'étude d'Asana portant sur 144 exécutions a testé GPT-6.1 Sol et trois autres modèles de pointe. Le flux de travail optimisé sur GPT-6.1 Sol a affiché en moyenne 0,47 $ de coûts de modèle estimés et environ quatre minutes par exécution, soit 76 fois moins cher et 5 fois plus rapide que la configuration de production initiale sur le Modèle B. Arnab Bose, directeur produit d'Asana, a déclaré que ce travail montrait comment un ingénieur peut fixer le cap pendant que GPT-6 Astra mène les expériences et que les résultats passent par Command jusqu'en production.
L'enquête a révélé que l'agent mettait en cache ses instructions fixes et ses définitions d'outils, mais pas l'historique croissant du texte des pages et des captures d'écran, de sorte que chaque requête renvoyait cet historique à plein tarif. Hidalgo a testé trois modifications : étendre la mise en cache à l'historique de navigation, conserver davantage de texte et supprimer les captures d'écran par lots. La meilleure politique laissait les captures s'accumuler jusqu'à 20 avant de ne garder que la plus récente, ce qui préservait l'historique antérieur plus longtemps.
Chaque configuration a recueilli six champs pour chacun des 32 livres d'un catalogue de démonstration public. Les requêtes, traces de données et résultats de chaque session ont été enregistrés dans Command, afin que l'équipe puisse revoir l'étude par la suite. Les conclusions ont été transformées en tickets, puis en pull requests, et les modifications sont passées en production.
Source: OpenAI Blog · Résumé par HeadlinesBriefing