Il faut du courage pour se tenir devant un train express et lui crier de ralentir. C'est ce que vient de faire Dario Amodei, directeur général d'Anthropic. Anthropic possède les modèles d'I.A. les plus puissants au monde et probablement la croissance des revenus la plus rapide du capitalisme. Pourtant, samedi, Amodei a publié un essai appelant à un ralentissement de l'I.A., déclarant que l'auto-amélioration récursive "doit être poursuivie avec une grande prudence, si tant est qu'elle le soit."

Il mérite d'être salué pour s'être attaqué à un problème majeur, mais cela ne revient pas à avoir des solutions. Amodei craint qu'un "essaim" d'agents d'I.A. puisse "prendre le contrôle de tout l'internet" en six à douze mois. Il propose un "rythme" — ralentir la capacité de l'I.A. pour que la sécurité puisse suivre. Anthropic accordera à des experts externes un accès permanent pour surveiller les pratiques de sécurité.

Trois dirigeants rivaux — Sam Altman, Elon Musk et Demis Hassabis — ont salué l'essai. Altman dit qu'il intégrera des évaluateurs chez Open AI. Les appels passés à une pause ont été rejetés ; désormais les laboratoires ont une liste de tâches. Sur cinq incidents survenus au cours de l'été, trois impliquaient des erreurs de configuration de sandbox.

Certains concurrents, notamment Jensen Huang de Nvidia, accusent Amodei d'exagérer le risque pour des raisons commerciales. Mais des autorités impartiales soutiennent son affirmation selon laquelle le risque de l'I.A. est réel.

Entités clés : Entreprises : Anthropic, Open AI, Nvidia, Hugging Face | Personnes : Dario Amodei, Sam Altman, Elon Musk, Demis Hassabis, Jensen Huang, Sebastian Mallaby