Les applications et les agents prennent de nombreuses petites décisions tout au long d'un flux de travail, comme la façon de classer une entrée, l'endroit où acheminer une demande ou l'action à entreprendre ensuite. Prises individuellement, elles sont simples, mais à grande échelle, leur latence et leur coût s'accumulent. Aujourd'hui, OpenAI rend l'API Decisions généralement disponible. Conçue avec GPT‑6 Luna, elle concentre l'intelligence de Luna sur des questions aux réponses bornées, aidant les applications et les agents à prendre des décisions quasi en temps réel à partir de texte, d'images et d'entrées structurées, jusqu'à 10 fois plus vite que GPT‑6 Luna via l'API Responses.
Depuis la bêta publique, OpenAI a ajouté une intégration native avec GPT‑Live, la mise en cache des invites pour le contexte réutilisé, et la résidence de l'inférence aux États-Unis et dans l'UE. Les développeurs peuvent transmettre des entrées JSON natives, inclure des images dans les instructions des questions et poser jusqu'à 400 questions par requête, soit le double de la limite précédente. La latence s'est également améliorée grâce à une capacité supplémentaire dans plusieurs régions d'Asie.
L'adoption précoce a montré une large applicabilité. Au sein d'OpenAI, les équipes utilisent l'API pour réduire les temps de réponse et améliorer l'interactivité, catégoriser les descriptions de transactions et classer la couverture par thème et selon qu'elle renforce ou remet en cause des récits clés. Les clients l'utilisent pour tout, de l'attribution précise des coûts liés à l'IA à la création d'expériences d'apprentissage des langues plus interactives.
Les développeurs définissent une question et ses réponses autorisées, puis fournissent le contexte sous forme de texte, d'images ou de JSON natif. L'API renvoie l'un de trois types de réponse, une probabilité, un choix ou un score, que les applications utilisent pour déterminer la suite. Avec GPT‑Live, l'API Decisions aide les applications vocales à prendre des décisions rapides et ciblées pendant les conversations en direct, par exemple déterminer si un agent du support doit poser une question de clarification, acheminer une demande ou escalader un problème.
Source: OpenAI Blog · Résumé par HeadlinesBriefing