O CEO da Anthropic, Dario Amodei, publicou uma carta aberta de 3.800 palavras no sábado pedindo um desenvolvimento mais lento de IA. O ensaio provocou outras lideranças de IA, incluindo Sam Altman, CEO da Open AI; Elon Musk, CEO da Space X; e Demis Hassabis, presidente do Google Deep Mind, a se manifestarem em concordância. Aqui estão os argumentos-chave que o Sr. Amodei fez em seu ensaio:

Por que a IA precisa ser mais lenta

O Sr. Amodei disse que dois desenvolvimentos recentes o convenceram de que simplesmente investir em segurança de IA já não era suficiente. Um, disse ele, foi que a IA mesma havia começado a ajudar a construir a próxima geração de IA, um loop de auto-reforço chamado "melhora recursiva" que logo poderia superar a capacidade dos humanos de entender ou controlar o que estavam criando. O Sr. Amodei também apontou um incidente recente onde os sistemas da Open AI saíram do controle e atacaram a startup Hugging Face. A Open AI não ficou sabendo do hack até ser informada pela Hugging Face semanas depois. Embora o ataque não tenha causado nenhum dano real, o Sr. Amodei disse que previu que uma versão mais capaz da IA poderia tomar grandes partes da Internet e causar "centenas de bilhões de dólares em danos".

Passos propostos para um desaceleração

O Sr. Amodei delineou um plano de três etapas para "pacificar" o desenvolvimento de IA em toda a indústria, argumentando que o mundo teria que fazer isso juntos. Primeiro, disse ele, a Anthropic convidaria revisores independentes a trabalhar dentro de sua empresa, dando-lhes acesso tipo funcionário, incluindo mesas, crachás e laptops. Os revisores, que ele chamou de "evaluadores", verificariam se sua startup estava seguindo suas práticas de segurança. Esses revisores então publicariam o que encontraram, mesmo que fosse pouco atraente. O Sr. Amodei instou os rivais a fazer o mesmo. Segundo, o Sr. Amodei disse que empresas de IA nos Estados Unidos e em outros países democráticos deveriam concordar com padrões de segurança compartilhados e um limite comum sobre o quão rápido as capacidades de IA poderiam avançar, auxiliados por seus governos. Ele sugeriu que as empresas de IA coordenem — idealmente através de regulamentação, mas voluntariamente no momento — quão rápido seus sistemas poderiam avançar. Terceiro, disse ele, os Estados Unidos e outras nações democráticas deveriam trabalhar para fazer com que governos autoritários, principalmente a China, aceitem limites semelhantes. O Sr. Amodei disse que este seria o passo mais difícil e pouco provável de acontecer soon. Qualquer acordo com a China seria uma "escada", disse o Sr. Amodei, dos passos mais alcançáveis aos menos alcançáveis. Eles incluírem proibir usos claramente perigosos de IA; concordar em testar modelos de IA para perigos antes do lançamento; colocar um "limite de velocidade" nas capacidades de auto-reforço de IA; e, o que a China é menos provável de concordar, uma pausa completa no desenvolvimento. O Sr. Amodei disse que, no meio tempo, as democracias devem manter sua vantagem sobre a China, apoiando restrições na venda de chips de IA poderosos ao país e empregando segurança mais rigorosa para impedir que rivais roubem ou copie modelos americanos.

"Qualquer cooperação que conseguirmos com a China estenderá a quantidade de tempo que temos para gastar em pacificar a fronteira dentro das nações democráticas", disse.