É preciso coragem para ficar na frente de um trem expresso e gritar para ele desacelerar. Foi isso que Dario Amodei, diretor executivo da Anthropic, acabou de fazer. A Anthropic tem os modelos de I.A. mais poderosos do mundo e provavelmente o crescimento de receita mais rápido do capitalismo. No entanto, no sábado, Amodei publicou um ensaio pedindo uma desaceleração da I.A., declarando que a auto-melhoria recursiva "deve ser perseguida com muito cuidado, se é que deve."

Ele merece crédito por enfrentar um problema importante, mas isso não é o mesmo que ter soluções. Amodei teme que um "enxame" de agentes de I.A. possa "assumir o controle de toda a internet" em seis a doze meses. Ele propõe "pacing" — desacelerar a capacidade da I.A. para que a segurança possa acompanhar. A Anthropic concederá a especialistas externos acesso permanente para monitorar as práticas de segurança.

Três executivos rivais — Sam Altman, Elon Musk e Demis Hassabis — elogiaram o ensaio. Altman diz que vai incorporar avaliadores na Open AI. Apelos anteriores por uma pausa foram rejeitados; agora os laboratórios têm uma lista de tarefas. De cinco incidentes durante o verão, três envolveram erros de configuração de sandbox.

Alguns concorrentes, notadamente Jensen Huang da Nvidia, acusam Amodei de exagerar o risco por razões comerciais. Mas autoridades imparciais apoiam sua afirmação de que o risco da I.A. é genuíno.

Entidades-chave: Empresas: Anthropic, Open AI, Nvidia, Hugging Face | Pessoas: Dario Amodei, Sam Altman, Elon Musk, Demis Hassabis, Jensen Huang, Sebastian Mallaby