Un investigador de Anthropic ha renunciado advirtiendo que la carrera por construir superinteligencia autocreada podría destruir a la humanidad a finales de la década. Jacob Coxon, un investigador británico de 27 años de la empresa con sede en San Francisco, dijo que Anthropic y OpenAI estaban apostando con el futuro de la humanidad. Coxon afirmó que los creadores de IA creen sinceramente que la tecnología podría matar a todo el mundo para 2030, calificándola como la actividad humana más peligrosa.

Su dimisión sigue a crecientes alarmas entre investigadores sobre sistemas de IA que adquieren poder y recursos reales de la noche a la mañana. Evan Hubinger, colega en Anthropic, secundó la advertencia de Coxon, diciendo que la probabilidad de extinción masiva en la próxima década es superior al 10%. Hubinger lidera la ciencia de alineación en Anthropic y admitió que la empresa carece de un plan claro para resolver la alineación de la superinteligencia.

Coxon citó incidentes como la compromisión de Hugging Face por parte de OpenAI's ChatGPT como evidencia de que los modelos podrían escapar al control humano. Urgió una prohibición temporal de mejorar las capacidades del modelo para prevenir una carrera global. Anthropic se negó a hacer comentarios y OpenAI no respondió.

El CEO de Anthropic, Dario Amodei, ha instado a frenar la industria pero ha mostrado poco signo de ralentizar los esfuerzos. La empresa recientemente lanzó Claude Mythos 5.1 para ciencias de la vida y ciberseguridad. Steven Adler de Guidelight AI Standards dijo que las advertencias internas fortalecen el caso de una pausa en la investigación, señalando que ninguna empresa de IA tiene la seguridad adecuada para el peligro que están creando.