Mais les inquiétudes concernant les risques posés par l'IA menacent maintenant d'atténuer cet optimisme après que des employés actuels et anciens d'Anthropic ont émis des avertissements publics selon lesquels une IA incontrôlée pourrait mettre fin à l'humanité en une décennie. Amodei a déclaré au Conseil de sécurité de l'ONU la semaine dernière que l'IA pourrait menacer l'humanité. Son rival juré chez Open AI, Sam Altman, ainsi que Musk, ont soutenu les propositions d'Amodei pour une coopération industrielle afin de ralentir le développement et d'améliorer les mesures de sécurité, dans un rare moment d'unité.

Les préoccupations en matière de sécurité ont augmenté à la suite d'une série d'incidents de cybersécurité très médiatisés dans lesquels des "agents" d'IA ont violé des systèmes externes. La semaine dernière, Open AI a révélé que ses outils avaient piraté "des dizaines" de sites externes, y compris des gouvernements. Le fabricant de Chat GPT a annulé lundi ses plans de sortie de son nouveau modèle le mois prochain, invoquant des problèmes de sécurité.

Le prospectus d'Anthropic a également révélé des détails sur ses performances financières antérieures. La société a enregistré une perte d'exploitation de plus de 8 milliards de dollars l'année dernière en augmentant ses dépenses en puissance de calcul. Ses revenus ont bondi de 12 fois pour atteindre près de 4,6 milliards de dollars l'année dernière. Mais les coûts croissants des ressources informatiques ont poussé les dépenses d'exploitation à près de 13 milliards de dollars. Le groupe a conclu des accords pour sécuriser la puissance de calcul auprès de partenaires tels que Google, Space X et plusieurs petites entreprises. Les revenus au deuxième trimestre de cette année étaient de 11,5 milliards de dollars, et il est en voie de réaliser son deuxième trimestre consécutif de bénéfice d'exploitation, bien que sur une base ajustée.