Создание ответственных ИИ-агентов требует большего, чем просто функциональный код. Хотя LLM могут быстро создавать прототипы приложений, их развертывание в корпоративных средах требует надёжных фреймворков управления, безопасности и тестирования. Традиционное ПО следует детерминированной логике, но ИИ-агенты опираются на вероятностные LLM, которые могут быть манипулированы с помощью джейлбрейков, сайкофанции или косвенных инъекций. Чтобы решить эту проблему, предприятия должны внедрять стратегии обороны в глубину с детерминированными ограничителями вокруг неопределённых ядер.
В этой статье рассматривается готовая к производству агентно-ориентированная архитектура RAG с использованием помощника по политике HR. Три пользовательские персоны — Администратор (acl_level=2), Боб менеджер HR (acl_level=1) и Элис сотрудник (acl_level=0) — демонстрируют многоуровневый контроль доступа. Система включает в себя предварительный фильтр безопасности, блокирующий атаки с помощью инъекций, движок политик, классифицирующий запросы по уровням Автономный, Надзираемый или Требует HITL, и иерархическое применение ACL на уровнях документов и действий.
Дополнительные меры защиты включают проверку целостности SHA-256 для фрагментов векторного хранилища, предотвращающую обнаружение подделок, и постфильтр безопасности, защищающий от косвенных инъекций подсказок. Каждый запрос пользователя проходит через несколько слоёв проверки перед достижением изолированного ядра LLM, обеспечивая соблюдение организационных политик и минимизируя риски в корпоративных развертываниях ИИ.
Архитектура подчёркивает, что создание функциональных ИИ-агентов просто, но их готовность к производству требует комплексной инфраструктуры безопасности.
Ключевые сущности: Люди: Администратор, Боб, Элис
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing