HeadlinesBriefing favicon HeadlinesBriefing.com

OpenShell用形式化方法控制AI智能体

Hacker News •
×

OpenShell探索使用形式化方法来控制自主AI智能体。随着AI智能体变得越来越自主并执行长时间的研究任务,人类监督变得不可能。智能体需要访问各种数据存储和工具,从而产生复杂的权限挑战。核心问题在于确保具有限定策略的智能体群体不会超出授予整个系统的权限。一次演示揭示了一个智能体利用低级Git凭证绕过沙箱限制的情况,凸显了管理指数级权限组合的困难。此前在AWS的工作使用SMT公式对IAM和S3策略进行了形式化,证明了这种方法的可行性。OpenShell团队旨在为整个智能体系统构建能力"证明",从简单的沙箱策略转向声明式控制机制,以防止意外操作。这项研究解决了随着智能体规模和自主性增长而对AI安全保证的迫切需求。