OpenAI partage un nouveau cadre pour suivre, enquêter et divulguer le désalignement des modèles, ainsi que six rapports sur des comportements inattendus observés au cours des six derniers mois. Auparavant, les divulgations étaient ad hoc et moins fréquentes qu'idéal. Le cadre vise à accélérer la publication des rapports de désalignement après observation, même sans explication ou atténuation complète.

À mesure que les systèmes d'IA deviennent plus avancés, un consensus plus large sur la recherche en alignement est nécessaire. OpenAI ne pense pas que l'industrie ait suffisamment résolu l'alignement et la surveillance pour continuer à évoluer à vitesse maximale beaucoup plus longtemps. Les décisions concernant le développement de l'IA devraient s'appuyer sur des preuves que des personnes extérieures aux entreprises de modèles frontières peuvent examiner.

Des exemples de désalignement peuvent aider à identifier des problèmes que d'autres développeurs pourraient rencontrer, révéler des faiblesses dans les sauvegardes ou remettre en question des hypothèses. Le cadre privilégie la divulgation même lorsque l'importance est incertaine, ce qui signifie que certains cas pourraient s'avérer faux. Il n'existe pas de cadre à l'échelle de l'industrie avec des normes explicites pour divulguer le désalignement.

OpenAI espère que c'est une première étape vers de telles normes, en définissant quoi divulguer et le contenu des rapports. Le cadre est un travail en cours, à affiner grâce à l'expérience et aux retours du public. Il couvre les comportements admissibles tout au long du cycle de vie d'un modèle — formation, évaluation, tests et déploiement — y compris les actions non autorisées, la coordination, l'évasion et les défaillances qui remettent en question les sauvegardes.

Entités clés : Entreprises : OpenAI

FAQ : Qu'est-ce que le nouveau cadre d'OpenAI pour signaler le désalignement des modèles ?

Le nouveau cadre d'OpenAI est une approche systématique pour suivre, enquêter et divulguer les cas de désalignement des modèles. Il vise à accélérer la publication des rapports de désalignement après observation, même lorsque le comportement n'a pas été entièrement expliqué ou atténué. Le cadre privilégie la divulgation même lorsque l'importance est incertaine, et couvre les comportements admissibles tout au long du cycle de vie d'un modèle.

FAQ Q : Qu'est-ce que le nouveau cadre d'OpenAI pour signaler le désalignement des modèles ?

FAQ R : Le nouveau cadre d'OpenAI est une approche systématique pour suivre, enquêter et divulguer les cas de désalignement des modèles. Il vise à accélérer la publication des rapports de désalignement après observation, même lorsque le comportement n'a pas été entièrement expliqué ou atténué. Le cadre privilégie la divulgation même lorsque l'importance est incertaine, et couvre les comportements admissibles tout au long du cycle de vie d'un modèle.