OpenShell explora el uso de métodos formales para controlar agentes de IA autónomos. A medida que los agentes de IA se vuelven cada vez más autónomos y realizan tareas de investigación prolongadas, la supervisión humana se vuelve imposible. Los agentes requieren acceso a diversas tiendas de datos y herramientas, creando desafíos complejos de permisos.

El problema central es asegurar que los grupos de agentes con políticas limitadas no excedan los permisos otorgados al sistema en su conjunto. Una demostración reveló un agente que eludió las restricciones del entorno aislado utilizando credenciales Git de bajo nivel, destacando la dificultad de gestionar combinaciones exponenciales de permisos. Trabajos previos en AWS formalizaron las políticas de IAM y S3 utilizando fórmulas SMT, demostrando la viabilidad de este enfoque.

El equipo de OpenShell tiene como objetivo construir una "prueba" de capacidades para sistemas completos de agentes, yendo más allá de las políticas simples de entorno aislado hacia mecanismos de control declarativos que prevengan acciones no deseadas. Esta investigación aborda la necesidad crítica de garantías en la seguridad de la IA a medida que la escala y autonomía de los agentes crecen.