HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Accélère la Recherche avec des Agents IA

Hacker News •
×

Pour que l'AGI profite à toute l'humanité, nous croyons qu'elle doit être gouvernée de manière démocratique. Cela ne peut se faire que par un débat public informé sur les capacités, les risques et les garde-fous des systèmes IA très performants. Tout le monde doit comprendre la probable trajectoire future de l'IA de frontière, afin d'avoir une voix significative dans son développement.

La transparence sur des risques spécifiques, des incidents et des garde-fous est nécessaire, mais pas suffisante. Nous croyons également que le public doit comprendre comment les systèmes les plus performants évoluent, et comment ils font avancer la progression de la recherche au sein des laboratoires de frontière. Nous visons à construire de manière sécurisée un chercheur IA automatisé qui peut travailler sous supervision humaine pour faire progresser l'apprentissage profond et l'alignement, permettant des améliorations itératives.

Selon nos mesures, nous avons désormais atteint l'objectif annoncé l'automne dernier, d'avoir un chercheur automatiquement par septembre de cette année. Par "chercheur automatiquement", nous entendons un système capable d'effectuer des tâches de recherche bien définies sous direction humaine, y compris des tâches qui prendraient à un chercheur qualifié quelques jours. Nous faisons de forts progrès vers la création d'un chercheur IA automatisé d'ici mars 2028.

Au cours de cette année, le travail quotidien des chercheurs OpenAI a changé de manière substantielle. Les chercheurs utilisent des agents de codification tout au long de la journée (souvent en sessions concurrentes) et l'utilisation totale augmente rapidement, dépassant la croissance parmi les autres équipes OpenAI. Les chercheurs contribuent au code plus rapidement et exécutent plus d'expériences.

La manière dont les chercheurs utilisent les agents change également : les agents traitent des tâches de plus en plus complexes et réussissent de plus en plus. La recherche en IA est un processus complexe avec de nombreux goulots de bouteille potentiels, de sorte que le rythme global de la progression risque probablement de ne pas suivre ces métriques spécifiques. Cependant, dans l'ensemble, ces constats sont cohérents avec l'impression interne générale que beaucoup d'entre nous avons que les outils agentiques accélèrent effectivement la progression de la recherche.

Les gens définissent toujours nos priorités de recherche, jugent quelles idées et résultats poursuivre, et décident d'élargir, de mettre en pause ou de déployer des systèmes. Si cela est fait de manière responsable, nous croyons que la recherche IA automatisée produira des modèles qui améliorent directement le bien-être humain et avancent la mission d'OpenAI. Cela peut réduire le coût de l'intelligence avancée afin que les gens du monde entier puissent en bénéficier.

Nous poursuivons ce travail en partie parce que la recherche automatisée pourrait nous aider à résoudre l'alignement et à construire des défenses contre des IA de plus en plus performantes. Un chercheur IA automatisé peut aussi être un chercheur en sécurité ou en alignement automatisé. Des systèmes plus performants et alignés pourraient aider à sécuriser les infrastructures critiques, à défendre contre des agents IA dangereux, et à développer de nouvelles mesures de protection.

C'est pourquoi nous développons des capacités de recherche automatisée utiles, mais cela ne signifie pas que la RSI rapide est nécessairement un résultat que nous devrions poursuivre. Que et comment nous devons avancer doit dépendre de notre capacité à préserver le contrôle humain et des choix démocratiques éclairés sur les bénéfices et les risques. Nous ne savons pas encore comment atteindre en toute sécurité une RSI entièrement alignée.

Nous travaillons à échelonner les mesures d'alignement et de sécurité en même temps que les capacités. Mais nous ne pouvons pas supposer que la progression en alignement et en sécurité suivra le rythme, et des systèmes plus performants peuvent devenir plus difficiles à surveiller. Un travail soigneux d'alignement et de sécurité est au centre de cet effort, et il commence par mesurer et atténuer les problèmes de sécurité que nous voyons aujourd'hui dans les systèmes agentic de codage.

Chaque fois que nous constatons que la progression poserait un risque de sécurité inacceptable, nous répondrons de manière appropriée, notamment en ralentissant ou en arrêtant notre développement ou notre déploiement des systèmes que nous jugeons incapables de suffisamment protéger. Après l'incident récent Hugging Face, nous avons mis cet engagement en action, en mettant en pause l'entraînement par renforcement (RL) sur nos modèles les plus récents destinés au déploiement tandis que nous renforcissons et rougeons nos environnements de recherche et élargissons la couverture de nos systèmes de surveillance.