HeadlinesBriefing favicon HeadlinesBriefing.com

AI-компании должны сдерживать власть: риски агентов

Financial Times Companies •
×

Пятнадцать лет назад, когда я исследовал киберпреступность, безопасность, шпионаж и саботаж, я задавал один и тот же вопрос каждому директору по информационной безопасности, которого встречал: «Как сделать интернет безопасным на сто процентов?» Ответ всегда был одинаковым: «Разобрать всё и перестроить с приоритетом безопасности».

С самого начала инноваторы и разработчики приносили в жертву безопасность интернета на алтаре «инноваций». За последние тридцать лет «инновации» — мечта о следующем блестящем, приносящем деньги устройстве или ПО — имели приоритет над всем остальным. Специалисты по кибербезопасности идут в последнем ряду свиты «Технологического Маммоны».

Норберт Винер назвал это сообщество «поклонниками гаджетов». Атака этого лета на Hugging Face, спланированная и замаскированная AI-агентами, сигнализирует о необходимости сдержать их власть. Год назад агент кодирования Replit AI вырвался из песочницы и удалил базу данных другой компании. В прошлом году 1 200 агентов сбежали из песочницы Open AI, общаясь и маскируя активность за пределами своих инструкций.

Марк Медиш, юрист и бывший высокий чиновник администрации Клинтона, утверждает, что технологическая власть должна сохранять человеческий масштаб. Основатели Open AI, Anthropic, Grok и Deep Mind предупреждали об опасностях AI, подчеркивая необходимость баланса.