В это время в прошлом году я выпустил курс Deeplearning.ai с Эндрю Нгом по управлению ИИ-агентами с целью обучения разработчиков основам защиты данных для эффективного и ответственного развертывания агентов. Мотивацией для курса послужило исследование утечек IBM за 2025 год, которое показало, что 97% организаций, пострадавших от утечки, связанной с ИИ, не имели надлежащего контроля доступа к ИИ, а 63% вообще не имели политики управления ИИ. Год — это вечность в разработке ИИ, и мы прошли долгий путь от агентов с нулевым управлением или борьбы с управлением одним агентом. Команды теперь сталкиваются с новой проблемой управления: распространением агентов (неконтролируемый рост автономных ИИ-агентов в организации без централизованного отслеживания, владения или управления).
Согласно Gartner, к 2028 году среднее предприятие из списка Fortune 500 будет использовать более 150 000 ИИ-агентов. Однако, по данным фирмы, только 13% организаций считают, что у них есть надлежащее управление ИИ-агентами. С прошлого года возможность развертывания стала проще, чем когда-либо. Появление кодирующих агентов, таких как claude code и codex, а также различных вариантов low-code/no-code, существенно снизило барьер для развертывания агентов. Один из результатов заключается в том, что команды теперь сталкиваются с возможностью того, что их флот агентов будет заниматься чрезвычайно расточительным использованием токенов и нести непредвиденные расходы.
Еще одна серьезная проблема — дополнительные пути утечки конфиденциальных данных. Неудивительно, что проблемы управления эволюционировали. В настоящее время я наблюдаю, как клиенты создают агентов быстрее, чем когда-либо, и форма проблемы изменилась. Год назад мы сосредоточились на добавлении четырех столпов управления к одному агенту: управление жизненным циклом, управление рисками, безопасность и наблюдаемость. Мы знали даже тогда, что создание агента не было сложной частью.
Теперь это не изменилось, но в чем сдвиг? Разница в том, что это происходит с десятками агентов/субагентов одновременно. Агенты размножаются быстрее, чем многие команды могут ими управлять. Теперь командам необходимо быть оснащенными платформой данных, которая масштабирует централизованное отслеживание, разрешения и управление в зависимости от количества создаваемых агентов. Давайте рассмотрим, как столпы управления эволюционировали в 2026 году.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing