Громкие заявления об AGI и новых возможностях рассыпаются при проверке. В апреле Anthropic заявила, что её модель Claude Mythos лучше находит уязвимости в программном обеспечении, чем большинство экспертов по безопасности. Затем произошёл инцидент со взломом Open AI–Hugging Face, после чего Anthropic и Meta сообщили о похожих инцидентах. Anthropic заявила о математическом прорыве; Open AI тоже заявила о нём. Инженер Anthropic Jacob Coxon стал вирусным, объявив об уходе, заявив, что компании «несутся прямо к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями». Пресса освещала это взахлёб, повторяя антропоморфизирующие формулировки, призванные изобразить программное обеспечение как зарождающийся AGI.

Как только эксперты изучают, что произошло, возникает другая история. Эксперты по кибербезопасности говорят, что инциденты со взломом связаны с халатностью Open AI и её неспособностью внедрить базовые практики безопасности, а не с вышедшими из-под контроля моделями. Математики, поначалу ошеломлённые заявлением Open AI о том, что её чат-бот Astra решил проблемы десятилетней давности, позже поняли, что результаты не были новыми. Они обвинили компанию в нарушении исследовательской этики и плагиате, заявив, что Astra не совершила глубокого интеллектуального скачка. Недели спустя Open AI заявила о собственном прорыве. За два дня до этого Tristan Buckmaster из Courant Institute при Нью-Йоркском университете опубликовал заявление, предполагающее, что Open AI украла чужие работы и неправомерно их приписала.

Заявления о зарождающемся сверхинтеллекте основаны не на хорошей науке, а на трансгуманизме, евгенике и мышлении, выдающем желаемое за действительное. Математика и программирование возводятся в вершину человеческих достижений и допускают проверяемые ответы, что облегчает настройку систем под них. Сотни математиков подписали заявление, предупреждающее о коммерческих стимулах преувеличивать возможности, и призвали политиков консультироваться с экспертами, а не с пресс-релизами. Мы присоединяемся к этому призыву.

Ключевые субъекты: Компании: Anthropic, Open AI, Hugging Face, Meta | Люди: Stephanie Arnett, Jacob Coxon, Tristan Buckmaster | Места: Нью-Йоркский университет, Courant Institute