Les dirigeants de l'IA pensent que l'intelligence artificielle surpassera bientôt l'intelligence humaine, mais accélérer le développement sans garde-fous de sécurité peut, en fin de compte, freiner le progrès. D'anciens employés d'Anthropic, Open AI et Google Deep Mind avertissent que ces entreprises ne prennent pas la sécurité assez au sérieux. Donald Trump a rejeté la nécessité d'une réglementation, déclarant qu'un président "fort et intelligent" est le seul mécanisme de contrôle nécessaire. Mais 60 pour cent des Américains soutiennent désormais la réglementation de l'IA, selon un sondage du Special Competitive Studies Project et de Gallup, tandis que seulement 7 pour cent privilégient la vitesse à la sécurité.

Les militants pour la sécurité de l'IA pointent l'effondrement de l'industrie nucléaire américaine après l'accident de Three Mile Island en 1979 comme un avertissement. Toute catastrophe induite par l'IA pourrait déclencher une sur-réaction réglementaire qui stopperait le progrès futur, compromettant l'accélération technologique que prônent les accélérationnistes.

Les accélérationnistes affirment que les entreprises leaders veulent secrètement la réglementation pour consolider les acteurs en place, et que les États-Unis doivent gagner la course à l'IA face à la Chine. Mais comme le note l'analyste Dan Wang, Pékin pourrait se contenter de laisser les États-Unis risquer la catastrophe sur l'IA de pointe pendant que la Chine applique les leçons plus largement. L'ancien chercheur Andrew Strait qualifie le développement actuel de l'IA d'"incroyablement imprudent, négligent et dangereux". Bill Gates affirme que les prochains 12 à 18 mois de choix de conception seront critiques, sa fondation dépensant 1 milliard de dollars pour promouvoir des initiatives d'IA bénéfiques.