Se necesita valentía para pararse frente a un tren expreso y gritarle que reduzca la velocidad. Eso es lo que acaba de hacer Dario Amodei, director ejecutivo de Anthropic. Anthropic tiene los modelos de I.A. más potentes del mundo y probablemente el crecimiento de ingresos más rápido del capitalismo. Sin embargo, el sábado Amodei publicó un ensayo en el que pide una desaceleración de la I.A., declarando que la automejora recursiva "debe perseguirse con mucha cautela, si acaso."

Merece crédito por enfrentar un problema importante, pero eso no es lo mismo que tener soluciones. Amodei teme que un "enjambre" de agentes de I.A. pueda "apoderarse de todo internet" en seis a doce meses. Propone un "ritmo pausado" — frenar la capacidad de la I.A. para que la seguridad pueda seguir el paso. Anthropic otorgará a expertos externos acceso permanente para monitorear las prácticas de seguridad.

Tres ejecutivos rivales — Sam Altman, Elon Musk y Demis Hassabis — elogiaron el ensayo. Altman dice que incorporará evaluadores en Open AI. Las llamadas anteriores para hacer una pausa fueron rechazadas; ahora los laboratorios tienen una lista de tareas pendientes. De cinco incidentes durante el verano, tres involucraron errores de configuración de sandbox.

Algunos competidores, notablemente Jensen Huang de Nvidia, acusan a Amodei de exagerar el riesgo por razones comerciales. Pero autoridades imparciales respaldan su afirmación de que el riesgo de la I.A. es genuino.

Entidades clave: Empresas: Anthropic, Open AI, Nvidia, Hugging Face | Personas: Dario Amodei, Sam Altman, Elon Musk, Demis Hassabis, Jensen Huang, Sebastian Mallaby