构建负责任的 AI 代理不仅需要功能代码。虽然 LLM 可以快速构建应用程序原型，但在企业环境中部署它们需要强大的治理、安全和测试框架。传统软件遵循确定性逻辑，但 AI 代理依赖可能通过越狱、奴媚或间接注入被操纵的概率性 LLM。为此，企业必须在非确定性核心周围实施深度防御策略，配备确定性安全轨道。
本文探讨了使用 HR 政策助手的生产就绪代理式 RAG 架构。三种用户角色——管理员（acl_level=2）、鲍勃 HR 经理（acl_level=1）和爱丽丝员工（acl_level=0）——展示了多级别访问控制。系统具备阻止注入攻击的安全预过滤器、将查询分类为自主、监督或需要 HITL 等级的政策引擎，以及在文档和操作级别的层次性 ACL 强制执行。
其他安全措施包括向量存储块的 SHA-256 完整性验证，防止篡改检测，以及防御间接提示注入的安全后过滤器。在到达隔离 LLM 核心之前，每个用户查询都要经过多层验证，确保遵守组织政策并最大限度降低企业 AI 部署中的安全风险。
该架构强调构建功能性 AI 代理很简单，但使其生产就绪需要全面的安全基础设施。
关键实体：人物：管理员、鲍勃、爱丽丝
来源: Towards Data Science · 由HeadlinesBriefing整理摘要