Исследователь Anthropic Jacob Coxon уволился, предупреждая, что гонка по созданию самоулучшающегося ИИ может уничтожить человечество к концу десятилетия. Jacob Coxon, 27-летний британский исследователь из компании Anthropic, основанной в Сан-Франциско, сказал, что Anthropic и OpenAI рискуют будущим человечества. Coxon stated that AI builders earnestly believe the technology could kill everyone by 2030, calling it the most dangerous human activity.

His departure follows growing alarm among researchers about AI systems gaining real power and resources overnight. Evan Hubinger, коллега в Anthropic, поддержал предупреждение Coxon, сказав, что вероятность массового вымирания в ближайшую decade превышает 10%. Hubinger возглавляет науку о выравнивании в Anthropic и признал, что компания не имеет четкого плана по решению проблемы выравнивания superintelligence.

Coxon привел в пример инциденты, такие как компрометация Hugging Face OpenAI's ChatGPT, как доказательство, что модели могут выйти за пределы человеческого контроля. Он призвал к временной запрете на улучшение возможностей моделей, чтобы предотвратить глобальную гонку. Anthropic отказался комментировать, OpenAI не отреагировал. Генеральный директор Anthropic Dario Amodei призывал к ограничениям в индустрии, но мало что указывает на замедление усилий. Компания недавно запустила Claude Mythos 5.1 для生命科学 и кибербезопасности. Steven Adler из Guidelight AI Standards сказал, что внутренние предупреждения укрепляют аргументы в пользу паузы в исследованиях, отметив, что ни одна компания ИИ не имеет adequate security для опасности, которую они создают.