Mas as preocupações sobre os riscos representados pela IA agora ameaçam diminuir esse otimismo depois que funcionários atuais e antigos da Anthropic emitiram avisos públicos de que a IA descontrolada poderia acabar com a humanidade em uma década. Amodei disse ao Conselho de Segurança da ONU na semana passada que a IA poderia ameaçar a humanidade. Seu arquirrival na Open AI, Sam Altman, junto com Musk, apoiaram as propostas de Amodei para cooperação da indústria para desacelerar o desenvolvimento e melhorar as medidas de segurança, em um raro momento de unidade.

As preocupações com a segurança aumentaram após uma série de incidentes de segurança cibernética de alto perfil em que "agentes" de IA violaram sistemas externos. Na semana passada, a Open AI revelou que suas ferramentas haviam hackeado "dezenas" de sites externos, incluindo governos. O fabricante do Chat GPT cancelou na segunda-feira os planos de lançar seu modelo mais novo no próximo mês, citando preocupações de segurança.

O prospecto da Anthropic também revelou detalhes de seu desempenho financeiro anterior. A empresa registrou uma perda operacional de mais de US$ 8 bilhões no ano passado, ao aumentar os gastos com poder computacional. Sua receita saltou 12 vezes para quase US$ 4,6 bilhões no ano passado. Mas os custos crescentes de recursos computacionais elevaram as despesas operacionais para quase US$ 13 bilhões. O grupo concordou em acordos para garantir poder computacional de parceiros como Google, Space X e várias empresas menores. A receita no segundo trimestre deste ano foi de US$ 11,5 bilhões, e está a caminho de seu segundo trimestre consecutivo de lucro operacional, embora em base ajustada.