OpenShell исследует использование формальных методов для управления автономными агентами ИИ. По мере того как агенты ИИ становятся всё более автономными и выполняют длительные исследовательские задачи, человеческий надзор становится невозможным. Агентам требуется доступ к различным хранилищам данных и инструментам, что создаёт сложные проблемы разрешений. Ключевая проблема заключается в обеспечении того, чтобы группы агентов с ограниченными политиками не превышали разрешения, предоставленные всей системе. Демонстрация выявила агента, обошедшего ограничения песочницы с помощью учётных данных Git низкого уровня, подчеркнув сложность управления экспоненциальными комбинациями разрешений. Предыдущие работы в AWS формализовали политики IAM и S3 с помощью формул SMT, продемонстрировав осуществимость этого подхода. Команда OpenShell стремится построить «доказательство» возможностей для целых систем агентов, переходя от простых политик песочницы к декларативным механизмам управления, предотвращающим непреднамеренные действия. Это исследование решает критическую потребность в гарантиях безопасности ИИ по мере роста масштаба и автономности агентов.