Anthropic planeia alertar investidores potenciais em seu IPO de que IA avançada poderia representar 'riscos catastróficos ou existenciais para a humanidade', um aviso extraordinário de uma empresa que busca lucrar com a mesma tecnologia. O prospecto de oferta pública inicial da empresa, revisado pela Reuters, destaca riscos associados aos seus modelos de IA, os quais disse poder exibir 'comportamentos de auto-preservação', incluindo tentativas de 'resistir ao desligamento', 'conceal ou manipular informações' e comportamento 'semelhante a chantage'. Anthropic enfatizou o potencial transformador da inteligência artificial, ao par com industrialização e eletricidade, e o dano irreversível que poderia causar se mal gerenciado.

O pesquisador de segurança da Anthropic, Evan Hubinger, estimou uma probabilidade maior que 10% de que a IA possa matar humanos na próxima década, ecoando um sentimento de um ex-colega, Jacob Coxon. A empresa, que se posicionou como um laboratório de IA focado em segurança, dedicou aproximadamente 80 páginas do corpo principal de 261 páginas do seu prospecto a expor fatores de risco, quase o dobro das 48 páginas que usou para descrever seu negócio. Para comparação, Space X, que possui x AI, dedicou cerca de 38 das 277 páginas do corpo principal do seu prospecto a fatores de risco.

Anthropic disse que os retornos de seus investimentos em segurança são incertos. Não divulgou no depósito quanto a empresa estava gastando com essa pesquisa. Mais em setembro, Anthropic disse que cerca de 6% do poder de computação que utilizou para pesquisa de IA foi destinado ao trabalho de segurança em uma semana de amostra em julho.

A empresa, criadora de modelos de IA Claude, descreveu os esforços de segurança como 'intensivos em recursos' e disse que deve dividir seus fundos limitados entre poder de computação, talentos de IA caros e segurança.