Anthropic prévoit d'avertir les investisseurs potentiels de son IPO que l'advanced IA pourrait représenter 'des risques catastrophiques ou existentiels pour l'humanité', une mise en garde extraordinaire d'une entreprise cherchant à tirer profit de la même technologie. Le prospectus d'offre publique initiale de l'entreprise, examiné par Reuters, souligne les risques associés à ses modèles d'IA, qu'elle a dit pourraient exhiber des 'comportements de préservation de soi', notamment des tentatives de 'résister à l'arrêt', 'de cacher ou de manipuler des informations' et un comportement 'ressemblant au chantage'. Anthropic a souligné le potentiel transformateur de l'intelligence artificielle, à la hauteur de l'industrialisation et de l'électricité, et les dommages irréversibles qu'elle pourrait causer si elle est mal gérée.
Le chercheur en sécurité d'Anthropic, Evan Hubinger, a estimé une probabilité supérieure à 10% que l'IA puisse tuer des humains dans la prochaine décennie, faisant écho à un sentiment partagé par un ancien collègue, Jacob Coxon. L'entreprise, qui s'est positionnée comme un laboratoire d'IA axé sur la sécurité, a dédié environ 80 pages sur les 261 pages du corps principal de son prospectus à l'exposition des facteurs de risque, presque deux fois les 48 pages qu'elle a utilisées pour décrire son activité. Pour comparaison, Space X, qui possède x IA, a dédié environ 38 des 277 pages du corps principal de son prospectus aux facteurs de risque.
Anthropic a déclaré que les rendements de ses investissements en sécurité étaient flous. Elle n'a pas divulgué dans le dépôt combien l'entreprise dépensait pour de telles recherches. Plus tôt en septembre, Anthropic a dit que environ 6% de la puissance de calcul qu'elle a utilisée pour la recherche en IA est allée au travail de sécurité lors d'une semaine échantillon en juillet.
L'entreprise, créatrice des modèles d'IA Claude, a décrit les efforts de sécurité comme 'intensifs en ressources' et a dit qu'elle doit diviser ses fonds limités entre puissance de calcul, talents d'IA coûteux et sécurité.