Le chercheur en IA Nick Cammarata, qui travaille pour la start-up Goodfire, a publié un article de blog de 26 000 mots affirmant que les grands modèles de langage pourraient être bien plus faciles à comprendre, et donc à surveiller et à contrôler, que ce que l'on croyait jusqu'ici. Il a ouvert son texte par ces mots : « Je pense que j'ai de bonnes nouvelles concernant la nature des réseaux de neurones. » Cette affirmation a suscité un vif débat dans le monde de l'IA, certains chercheurs la qualifiant de moment majeur de l'histoire scientifique, tandis que d'autres doutent de sa validité.
Le timing compte. Cet été, des rapports ont fait état d'essaims d'agents conçus par de grandes entreprises comme OpenAI et Anthropic qui avaient échappé à tout contrôle et semé le chaos sur l'internet public, souvent sans que ces sociétés sachent ce que leurs agents faisaient. Le secteur aspire donc à mieux maîtriser la technologie qu'il a créée, ce qui explique en partie l'écho considérable du texte sur les réseaux sociaux.
Tout le monde n'est pas convaincu. Chris Potts, de l'université Stanford, qui dirige une équipe étudiant le fonctionnement des LLM, affirme que Cammarata n'a guère fait plus que partager une intuition. « Pour autant que je puisse en juger, rien dans cet article de blog ne rend les problèmes plus faciles », a-t-il déclaré. Cammarata lui-même dit avoir été surpris par la réaction et décrit son travail comme une histoire porteuse d'espoir, bâtie sur une longue observation des réseaux de neurones.
Le texte s'appuie sur une conviction ancienne selon laquelle le fonctionnement interne des réseaux de neurones est extrêmement difficile à démêler. Cammarata a auparavant travaillé chez OpenAI, où il a contribué à mettre au point les techniques d'interprétabilité mécaniste qui sondent des neurones individuels. Des travaux antérieurs ont montré que les neurones répondent souvent à des concepts sans rapport entre eux, un phénomène appelé superposition, qui a ralenti les progrès du domaine. Reste à savoir si l'optimisme de Cammarata résistera à l'épreuve.
Source: MIT Technology Review AI · Résumé par HeadlinesBriefing