去年这个时候，我与Andrew Ng在Deeplearning.ai上发布了一门关于治理AI代理的课程，旨在教育开发者掌握数据保护的基础知识，以实现有效且负责任的代理部署。该课程的动机来自IBM的2025年泄露研究，该研究发现97%遭受AI相关泄露的组织缺乏适当的AI访问控制，63%根本没有AI治理政策。在AI开发中，一年如同永恒，我们已经从零治理的代理或努力治理单个代理的阶段走了很长一段路。团队现在面临一个新的治理挑战：代理蔓延（自治AI代理在组织内不受控制的增长，缺乏集中跟踪、所有权或治理）。
根据Gartner，到2028年，平均每家财富500强企业将使用超过150,000个AI代理。然而，根据该公司，只有13%的组织认为他们拥有正确的AI代理治理。自去年以来，部署能力变得比以往任何时候都更容易。像claude code和codex这样的编码代理，以及各种低代码/无代码选项的出现，大大降低了代理部署的门槛。一个结果是，团队现在面临其代理集群可能产生大量浪费的令牌使用并招致不可预见成本的可能性。
另一个严重挑战是敏感数据泄露的额外途径。毫不奇怪，治理挑战已经演变。目前，我看到客户比以往任何时候都更快地构建代理，问题的形态已经改变。一年前，我们专注于为单个代理添加治理的四大支柱：生命周期管理、风险管理、安全性和可观察性。我们当时就知道，构建代理并不是困难的部分。
现在，这一点没有改变，但转变是什么？区别在于，这同时发生在数十个代理/子代理上。代理的繁殖速度超过了大多数团队治理它们的能力。团队现在需要配备一个数据平台，该平台能够随着构建的代理数量扩展集中跟踪、权限和治理。让我们看看治理支柱在2026年如何演变。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要