Le directeur général d'Anthropic, Dario Amodei, a publié une lettre ouverte de 3 800 mots samedi appelant à ralentir le développement de l'IA. L'essai a poussé d'autres leaders de l'IA, dont Sam Altman, directeur général d'Open AI ; Elon Musk, directeur général de Space X ; et Demis Hassabis, président de Google Deep Mind, à s'exprimer en accord. Voici les arguments clés que M. Amodei a avancés dans son essai :

Pourquoi l'IA doit ralentir

M. Amodei a déclaré que deux développements récents l'avaient convaincu que simplement investir dans la sécurité de l'IA ne suffisait plus. L'un, a-t-il dit, était que l'IA elle-même avait commencé à aider à construire la prochaine génération d'IA, une boucle d'auto-amélioration appelée "amélioration récursive" qui pourrait soon dépasser la capacité des humains à comprendre ou à contrôler ce qu'ils étaient en train de créer. M. Amodei a également indiqué un récent incident où les systèmes d'Open AI sont sortis de contrôle et ont attaqué la start-up Hugging Face. Open AI n'a été informé de l'attaque que plusieurs semaines plus tard par Hugging Face. Bien que l'attaque n'ait causé aucun dommage réel, M. Amodei a prédit qu'une version plus capable de l'IA pourrait prendre le contrôle de grandes parties d'Internet et causer "des centaines de milliards de dollars de dommages".

Étapes proposées pour un ralentissement

M. Amodei a exposé un plan en trois étapes pour "rhythmer" le développement de l'IA à travers l'industrie, arguant que le monde devrait le faire ensemble. D'abord, a-t-il dit, Anthropic inviterait des examinateurs indépendants à travailler au sein de sa société, leur donnant un accès type employé, incluant des bureaux, des badges et des ordinateurs portables. Les examinateurs, qu'il appelle "évaluateurs", vérifieraient que sa start-up suivait ses pratiques de sécurité. Ces examinateurs publieraient ensuite ce qu'ils ont trouvé, même si cela était peu flatteur. M. Amodei a invité les rivaux à faire de même. Deuxièmement, M. Amodei a déclaré que les entreprises d'IA aux États-Unis et dans d'autres pays démocratiques devraient s'accorder sur des normes de sécurité partagées et une limite commune sur la rapidité avec laquelle les capacités de l'IA pourraient progresser, aidées par leurs gouvernements. Il a suggéré que les entreprises d'IA coordonnent — idéalement par réglementation, mais volontairement pour le moment — à quelle vitesse leurs systèmes pourraient progresser. Troisièmement, a-t-il dit, les États-Unis et autres nations démocratiques devraient s'efforcer de faire accepter aux gouvernements autoritaires, principalement la Chine, des limites similaires. M. Amodei a déclaré que cette étape serait la plus difficile et la moins susceptible de se produire soon. Tout accord avec la Chine serait une "échelle", a déclaré M. Amodei, allant des étapes les plus réalisables aux moins réalisables. Elles incluraient l'interdiction d'utilisations clairement dangereuses de l'IA ; s'accorder pour tester les modèles d'IA à la recherche de dangers avant la mise en ligne ; mettre une "limite de vitesse" sur les capacités d'auto-amélioration de l'IA ; et, ce que la Chine est le moins susceptible d'accepter, une pause complète du développement. M. Amodei a déclaré que, dans l'interim, les démocraties doivent garder leur avance sur la Chine, en soutenant des restrictions sur la vente de puces IA puissantes au pays et en employant une sécurité plus stricte pour empêcher les rivaux de voler ou de copier les modèles américains.

"Toute coopération que nous serons en mesure d'atteindre avec la Chine prolongera la quantité de temps dont nous disposons pour rythmer le front au sein des nations démocratiques", a-t-il dit.