大多数代理堆栈在将模型输出转化为行动方面效果良好，但无法确保行动是否真的被允许。支持代理可能正确选择取消订阅并提取账户ID，却仍然取消了错误的账户，由于缺乏授权检查。能力（LLM选择工具并产生参数的能力）与授权（独立强制执行的政策，允许经过身份识别的主体执行有限动作）是不同的概念。健壮系统将能力视为需要在效果之前获得授权的提案。挑战如提示注入、模糊意图、陈旧上下文和广泛凭证可以将有效的工具调用转化为有害结果，正如OWASP代理系统风险所述。解决方案并非更多的提示指令，而是确定性的控制平面。复杂的代理系统组织为三个平面：规划（模型推理和工具选择）、控制（治理：身份验证、上下文解析、授权、策略评估和批准）和执行/观察（动作调用、验证和审计）。控制平面对主体进行身份验证，对行动进行验证，评估风险，可能需要精确批准，发放范围受限的授权，并持久化决策证据。这种分离确保了在语法有效性或HTTP成功之上的安全性和问责。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要