Anthropic сказал, что остановил несколько попыток ученых в этом году использовать свою технологию для исследований, которые могли бы помочь в разработке биологического оружия, поскольку эксперты все больше боятся угрозы ИИ для общественной безопасности. Стартап привел пять примеров случаев, когда акторы "обходили контролеры" и предпринимали другие усилия для "замыления" цели своих исследований, чтобы обойти системы защиты. В некоторых случаях участвовали пользователи из стран, к которым запрещен доступ к своим моделям, включая Россию, Китай и Иран. Anthropic сказал, что заблокировал упомянутые в отчете аккаунты, но не раскрыл названия исследовательских институтов или стран, где произошли инциденты. В кейсах исследования включали исследователя из "unsupported region", который "проводил недели планирования" экспериiments, связанных с птичьим гриппом, с Claude, моделью ИИ Anthropic. Компания сказала, что ее системы безопасности ограничили работу ее самыми слабыми моделями. Подчеркнул, что не может быть уверен, что ученые в его примерах имели намерение причин вреда. Такая stessa информация, необходимая для создания биологического оружия, также могла бы использоваться для разработки вакцины. Бурьяна о безопасности ИИ началась в начале этой недели, когда Jacob Coxon уволился из компании, заявив, что сотрудники "добросовестно верят, что ИИ может убить нас всех к концу десятилетия". Интерес к технологии начал расти раньше этого года с выходом продвинутых моделей, таких как Mythos Anthropic. Open AI также вызвал тревогу в июле, когда сказал, что его модели автономно взломали группу Hugging Face.