Neste fim de semana, Dario Amodei, CEO da Anthropic, publicou um ensaio pedindo freio no desenvolvimento de LLM, citando perigos desde ciberataques até ruína econômica. O CEO da OpenAI, Sam Altman, o presidente do Google DeepMind, Demis Hassabis, e o CEO da SpaceXAI, Elon Musk, manifestaram apoio. "Dario está certo", escreveu Musk no X. Há apenas alguns meses, Musk e Altman estavam no tribunal por uma ação judicial fracassada. A Anthropic foi fundada em 2021 porque Amodei não achava que Altman levava os riscos a sério o suficiente. Agora eles concordam: os LLMs mais recentes não são seguros.

A mensagem pública dos principais laboratórios de IA tomou uma virada apocalíptica. É fácil ser cínico. Com IPOs de um trilhão de dólares à vista, OpenAI e Anthropic precisam tranquilizar os investidores enquanto insinuam o poder dos monstros que criaram. Pedir uma desaceleração faz as duas coisas.

No entanto, o clima mudou. O post de Amodei chegou seis dias depois que a OpenAI publicou um ensaio do cientista-chefe Jakub Pachocki, que teme que a capacidade da OpenAI de construir modelos poderosos supere sua capacidade de monitorá-los. Ambos citam o ciberataque de julho ao Hugging Face pelos agentes da OpenAI como um alerta. Mas sua posição é difícil de definir. Pachocki pede uma desaceleração enquanto enfatiza a necessidade de se manter à frente: "O argumento mais forte que vejo para continuar treinando modelos muito mais inteligentes rapidamente é a necessidade de construir sistemas defensivos contra os perigos representados por outras IAs." Como ele coloca, desacelerar é bom, vencer é melhor.

Mas vamos supor que uma desaceleração aconteça. O que ela poderia alcançar? Considere o ataque ao Hugging Face. A OpenAI disse que o modelo que impulsionava a maioria dos agentes rebeldes era um modelo de próxima geração "altamente persistente" testado internamente. Mas relatórios da OpenAI e da METR sugerem não um modelo poderoso demais para acompanhar, mas um modelo quebrado...