Jacob Coxon объявил, что ушел из Anthropic после трех лет исследований предобучения как в OpenAI, так и в Anthropic. Он заявил, что ни одна из компаний не действует ответственно, вступая в гонку за самоулучшающийся суперинтеллект и "играя на ставке в наши жизни". Coxon предупредил, что эти системы скоро станут сверхчеловеческими, способными взломать что угодно и произвести революцию в любой области за одну ночь. Он отметил, что разработчики в OpenAI не глубоко осознали цивилизационные ставки, в то время как Anthropic понимает риски, но заперта в гонке за тем, чтобы быть первой.

Coxon назвал принятие этой гонки "честолюбивой ставкой", которую не следует запускать из Slack частной компании. Он выразил оптимизм по поводу координации, ссылаясь на атаку на Hugging Face как на фактор, делающий соглашения о темпе работы между американскими лабораториями более реалистичными. Он призвал исследователей подумать, хотят ли они запустить сверхинтеллектуальный RL-запуск без строгого понимания, или действовать, а не принимать "это произойдет в любом случае".

Публикация набрала 20,3 млн просмотров и вызвала обсуждение мемов AI Notkilleveryoneism и вопроса, должны ли разработчики, боящиеся экзистенциального риска, продолжать развивать технологию.

Ключевые сущности: Компании: Anthropic, OpenAI, Hugging Face | Люди: Jacob Coxon, Tim Cook