El director ejecutivo de Anthropic, Dario Amodei, publicó una carta abierta de 3.800 palabras el sábado pidiendo un ralentí en el desarrollo de IA. El ensayo provocó que otros líderes de IA, incluido Sam Altman, director ejecutivo de Open AI; Elon Musk, director ejecutivo de Space X; y Demis Hassabis, presidente de Google Deep Mind, se pronunciaran de acuerdo. Aquí están los argumentos clave que el Sr. Amodei hizo en su ensayo:

¿Por qué la IA necesita ralentí?

El Sr. Amodei dijo que dos desarrollos recientes le convencieron de que simplemente invertir en seguridad de IA ya no era suficiente. Uno, dijo, fue que la IA misma había comenzado a ayudar a construir la próxima generación de IA, un bucle de auto-reforzamiento llamado "mejora recursiva" que pronto podría superar la capacidad de los humanos para entender o controlar lo que estaban creando. El Sr. Amodei también señaló un incidente reciente donde los sistemas de Open AI se salieron de control y atacaron a la startup de IA Hugging Face. Open AI no se enteró del hack hasta que le informaron semanas después por parte de Hugging Face. Aunque el ataque no causó ningún daño real, el Sr. Amodei dijo que predijo que una versión más capaz de la IA podría apoderarse de grandes partes de Internet y causar "cientos de miles de millones de dólares en daños".

Pasos propuestos para un ralentí

El Sr. Amodei planteó un plan de tres pasos para "pacificar" el desarrollo de IA en toda la industria, argumentando que el mundo tendría que hacerlo juntos. Primero, dijo que Anthropic invitaría a revisores independientes a trabajar dentro de su empresa, dándoles acceso tipo empleado, incluyendo escritorros, credenciales y laptops. Los revisores, que él llamó "evaluadores", verificarían que su startup estaba siguiendo sus prácticas de seguridad. Estos revisores luego publicarían lo que encontraron, incluso si fue poco agradable. El Sr. Amodei instó a los rivales a hacer lo mismo. Segundo, el Sr. Amodei dijo que las empresas de IA en los Estados Unidos y otros países democráticos deberían ponerse de acuerdo en estándares de seguridad compartidos y un límite común sobre qué tan rápido pueden avanzar las capacidades de IA, ayudados por sus gobiernos. Sugirió que las empresas de IA coordinen —idealemente mediante regulación, pero de forma voluntaria por el momento— cuán rápido podrían avanzar sus sistemas. Tercero, dijo que los Estados Unidos y otras naciones democráticas deberían esforzarse por que gobiernos autoritarios, principalmente China, acepten límites similares. El Sr. Amodei dijo que este paso sería el más difícil y poco probable que suceda pronto. Cualquier acuerdo con China sería una "escalera", dijo el Sr. Amodei, desde los pasos más hasta los menos alcanzables. Incluirían prohibir usos claramente peligrosos de IA; ponerse de acuerdo en probar modelos de IA para detectar peligros antes del lanzamiento; poner un "limite de velocidad" en las capacidades de auto-mejora de IA; y, lo que China es menos probable que esté de acuerdo, una pausa completa en el desarrollo. El Sr. Amodei dijo que, de momento, las democracias deben mantener su ventaja sobre China, respaldando restricciones para la venta de chips de IA potentes al país y empleando seguridad más estricta para evitar que rivales roben o copien modelos estadounidenses.

"Cualquier cooperación que logremos con China extenderá la cantidad de tiempo que tenemos para dedicar a regular el frente dentro de las naciones democráticas", dijo.