Este fin de semana, Dario Amodei, CEO de Anthropic, publicó un ensayo pidiendo frenar el desarrollo de LLM, citando peligros desde ciberataques hasta ruina económica. El CEO de OpenAI, Sam Altman, el presidente de Google DeepMind, Demis Hassabis, y el CEO de SpaceXAI, Elon Musk, expresaron su apoyo. "Dario tiene razón", escribió Musk en X. Hace solo meses, Musk y Altman estaban en los tribunales por una demanda fallida. Anthropic se fundó en 2021 porque Amodei no creía que Altman tomara los riesgos lo suficientemente en serio. Ahora están de acuerdo: los últimos LLM no son seguros.

El mensaje público de los principales laboratorios de IA ha dado un giro apocalíptico. Es fácil ser cínico. Con IPO de un billón de dólares a la vista, OpenAI y Anthropic necesitan tranquilizar a los inversores mientras insinúan el poder de los monstruos que han creado. Pedir una desaceleración hace ambas cosas.

Sin embargo, el ambiente ha cambiado. La publicación de Amodei llegó seis días después de que OpenAI publicara un ensayo del científico jefe Jakub Pachocki, quien teme que la capacidad de OpenAI para construir modelos poderosos supere su capacidad para monitorearlos. Ambos citan el ciberataque de julio a Hugging Face por parte de los agentes de OpenAI como una llamada de atención. Pero su posición es difícil de precisar. Pachocki pide una desaceleración mientras enfatiza la necesidad de mantenerse a la vanguardia: "El argumento más fuerte que veo para continuar entrenando modelos mucho más inteligentes rápidamente es la necesidad de construir sistemas defensivos contra los peligros que plantean otras IA". Según él, desacelerar es bueno, ganar es mejor.

Pero supongamos que ocurre una desaceleración. ¿Qué podría lograr? Consideremos el ataque a Hugging Face. OpenAI dijo que el modelo que impulsaba a la mayoría de los agentes rebeldes era un modelo de próxima generación "altamente persistente" probado internamente. Pero los informes de OpenAI y METR sugieren no un modelo demasiado poderoso para seguirle el ritmo, sino un modelo roto...