Jacob Coxon anunciou que renunciou à Anthropic após três anos de pesquisa de pré-treinamento tanto na OpenAI quanto na Anthropic. Ele afirmou que nenhuma das empresas está agindo de forma responsável, correndo em direção a uma superinteligência autoaprimorante e "apostando com nossas vidas". Coxon alertou que esses sistemas serão em breve super-humanos, capazes de hackear qualquer coisa e revolucionar qualquer campo da noite para o dia. Ele observou que os construtores da OpenAI não internalizaram profundamente as apostas civilizacionais, enquanto a Anthropic compreende os riscos, mas está presa em uma corrida para chegar lá primeiro.

Coxon chamou aceitar essa corrida de "aposta hubrística" que não deveria ser lançada a partir do Slack de uma empresa privada. Ele expressou otimismo sobre a coordenação, citando o ataque à Hugging Face como tornando acordos de ritmo entre laboratórios dos EUA mais viáveis. Ele instou os pesquisadores a considerar se querem iniciar uma execução de RL superinteligente sem compreensão rigorosa, ou agir em vez de aceitar "está acontecendo de qualquer jeito".

A publicação obteve 20,3 milhões de visualizações e gerou discussão sobre memes de AI Notkilleveryoneism e se construtores que temem risco existencial devem continuar desenvolvendo a tecnologia.

Entidades-chave: Empresas: Anthropic, OpenAI, Hugging Face | Pessoas: Jacob Coxon, Tim Cook