En juillet, Jacob Tsimerman, un professeur à l'Université de Toronto, a reçu la Médaille Fields, le plus haut honneur des mathématiques. À la réception du prix, le Dr Tsimerman a annoncé un tournant professionnel, prenant un congé de l'académie et redirigeant ses recherches vers la sécurité de l'IA. Il commencera un emploi dans le département de sécurité chez Open AI vers la fin de ce mois-ci. Mardi, le Dr Tsimerman a annoncé la création de l'Institut Mathématique de Sécurité de l'IA (MAISI), une institution de recherche indépendante non affiliée à Open AI.

Situé dans la Baie de San Francisco, MAISI commencera son premier semestre complet de recherche en janvier 2027, avec pour objectif d'embaucher entre 10 et 30 mathématiciens, et beaucoup plus au cours de l'année académique suivante. Avec MAISI, le Dr Tsimerman, qui servira de directeur scientifique, transmet un message à la communauté académique : « La sécurité de l'IA est un domaine de recherche significatif », a-t-il déclaré lors d'un entretien depuis Toronto. « C'est une poursuite intellectuelle légitime qui est intéressante, utile, et il y a des progrès réels à faire. »Au fil des années, malgré les avancées en intelligence artificielle, de nombreux mathématiciens n'ont pas pris la technologie au sérieux, la considérant plutôt comme le domaine des ingénieurs logiciels. Mais, comme l'a noté le Dr Tsimerman, « Les ingénieurs ne peuvent implémenter que des idées qui ont été développées, et nous avons besoin d'idées nouvelles. » Puisque les systèmes d'IA sont fondamentalement faits de mathématiques — algèbre linéaire, calcul, probabilités, statistiques — lui et d'autres mathématiciens partageant les mêmes idées voient certains problèmes de sécurité de l'IA comme des problèmes mathématiques fondamentaux. « Nous avons besoin de plus de cette clarté et de cette rigueur mathématique dans l'industrie de l'IA », a déclaré Andrew Critch, directeur exécutif de MAISI, chercheur en IA et mathématicien.

Les chercheurs formés aux mathématiques voient une opportunité pour les mathématiques avancées d'aborder des préoccupations telles que la manière dont les systèmes d'IA interagissent et coopèrent entre eux ; comment les agents vérifient qu'ils se comportent de manière responsable et que les sorties sont précises ; et comment les systèmes d'IA peuvent être conçus à partir de la base pour être résilients contre même les vulnérabilités et risques actuellement non identifiés. Le Dr Tsimerman a fait référence à un outil de cryptographie appelé preuve à divulgation nulle de connaissance — une méthode mathématique de fournir une vérification sur un système sans révéler plus que nécessaire. Le Dr Goldwasser est un cofondateur d'un institut similaire orienté vers les mathématiques pour la sécurité de l'IA — l'Institut pour une Superintelligence Responsable (RESI) — qui a été lancé en août à Cambridge, Mass.

L'équipe scientifique fondatrice de RESI comprend Vinod Vaikuntanathan, un cryptographe de M. I. T., et Adam Tauman Kalai, un chercheur en sécurité et éthique de l'IA qui a récemment quitté Open AI.