Jacob Coxon anunció que renunció a Anthropic tras tres años realizando investigación de preentrenamiento tanto en OpenAI como en Anthropic. Declaró que ninguna de las dos empresas actúa de manera responsable, compitiendo hacia una superinteligencia auto-mejorante y "apostando con nuestras vidas". Coxon advirtió que estos sistemas pronto serán superhumanos, capaces de hackear cualquier cosa y revolucionar cualquier campo de la noche a la mañana. Señaló que los constructores en OpenAI no han internalizado profundamente las apuestas civilizatorias, mientras que Anthropic comprende los riesgos pero está atrapada en una carrera por llegar primero.

Coxon calificó aceptar esta carrera como una "apuesta hubrística" que no debería lanzarse desde el Slack de una empresa privada. Expresó optimismo sobre la coordinación, citando el ataque a Hugging Face como algo que hace más viables acuerdos de ritmo entre laboratorios de EE. UU. Instó a los investigadores a considerar si quieren iniciar una ejecución de RL superinteligente sin comprensión rigurosa, o tomar medidas en lugar de aceptar "está pasando de todos modos".

La publicación obtuvo 20,3 millones de vistas y generó debate sobre los memes de AI Notkilleveryoneism y si los constructores que temen el riesgo existencial deberían seguir desarrollando la tecnología.

Entidades clave: Empresas: Anthropic, OpenAI, Hugging Face | Personas: Jacob Coxon, Tim Cook