À mi-2023, dans le projet de recherche 'RLSlow', nous avons vu les premiers résultats qui nous ont donné confiance que nous pourrions étendre l'entraînement des modèles de raisonnement, débloquant ainsi la capacité des modèles pré-entraînés à former leurs propres chaînes de pensée. Szymon et moi avons passé cette nuit au bureau, à penser non pas aux chiffres de référence incroyables, aux produits ou aux résultats scientifiques que cette technologie apportera, mais plutôt à essayer de digérer le fait inquiétant que nous verrons effectivement des machines nettement plus intelligentes que nous au cours de notre vie, et nous voyons déjà la forme de ces systèmes ; nous nous demandions comment avertir les gens de l'importance de cela. Trois ans plus tard, les modèles de langage de raisonnement sont devenus une partie en rapide croissance de l'économie et commencent à repousser les frontières de la science.

Ils sont capables d'opérer des ordinateurs et des interfaces graphiques, de collaborer avec des personnes et entre eux, et de mener des projets de recherche. Ils transforment également le paysage de la sécurité informatique, et présentent dans ce contexte de clairs nouveaux dangers. Beaucoup de nouvelles recherches ont eu lieu durant cette période, et notre compréhension de ces systèmes est à nouveau un peu différente de ce qu'elle était en 2023.

Sur la base des résultats internes, j'ai une forte attente que cette vitesse de progrès puisse être maintenue dans l'amélioration récursive automatique. Si le développement de l'IA se poursuit sur sa trajectoire actuelle, les systèmes que nous verrons dans les prochaines années représenteront probablement des sauts de capacité supplémentaires d'égale ou de plus grande ampleur, et ils seront de plus en plus à l'origine de leur propre développement. C'est un moment qui appelle à une extrême prudence.

Je suis préoccupé par le fait que personne n'est préparé aux conséquences d'une montée en puissance rapide et continue de l'intelligence des machines. Open AI continuera à chercher des solutions techniques pour l'alignement et la surveillance, à construire des systèmes défensifs et à retenir unilatéralement toute mise à l'échelle supplémentaire si nécessaire ; cependant, je crois qu'il faut des interventions plus larges.