Pero las preocupaciones sobre los riesgos que plantea la IA ahora amenazan con atenuar ese optimismo después de que empleados actuales y anteriores de Anthropic emitieran advertencias públicas de que la IA descontrolada podría acabar con la humanidad en una década. Amodei dijo al Consejo de Seguridad de la ONU la semana pasada que la IA podría amenazar a la humanidad. Su archirrival en Open AI, Sam Altman, junto con Musk, respaldaron las propuestas de Amodei para la cooperación de la industria para frenar el desarrollo y mejorar las medidas de seguridad, en un raro momento de unidad.

Las preocupaciones de seguridad han aumentado tras una serie de incidentes de ciberseguridad de alto perfil en los que los "agentes" de IA han violado sistemas externos. La semana pasada, Open AI reveló que sus herramientas habían hackeado "docenas" de sitios externos, incluidos gobiernos. El fabricante de Chat GPT canceló el lunes los planes de lanzar su modelo más nuevo el próximo mes, citando preocupaciones de seguridad.

El prospecto de Anthropic también reveló detalles de su desempeño financiero anterior. La compañía registró una pérdida operativa de más de $8 mil millones el año pasado al aumentar el gasto en potencia informática. Sus ingresos se multiplicaron por 12 hasta casi $4.6 mil millones el año pasado. Pero los crecientes costos de los recursos informáticos elevaron los gastos operativos a casi $13 mil millones. El grupo ha acordado acuerdos para asegurar potencia informática de socios como Google, Space X y varias empresas más pequeñas. Los ingresos en el segundo trimestre de este año fueron de $11.5 mil millones, y está en camino de su segundo trimestre consecutivo de ganancia operativa, aunque sobre una base ajustada.