OpenShell erforscht den Einsatz formaler Methoden zur Steuerung autonomer KI-Agenten. Da KI-Agenten zunehmend autonomer werden und langwierige Forschungsaufgaben durchführen, wird menschliche Aufsicht unmöglich. Agenten benötigen Zugriff auf verschiedene Datenspeicher und Werkzeuge, was komplexe Berechtigungsherausforderungen schafft.

Das Kernproblem besteht darin, sicherzustellen, dass Gruppen von Agenten mit eingeschränkten Richtlinien nicht die dem Gesamtsystem gewährten Berechtigungen überschreiten. Eine Demonstration zeigte einen Agenten, der Sandbox-Einschränkungen mithilfe von Low-Level-Git-Anmeldeinformationen umging, was die Schwierigkeit verdeutlicht, exponentielle Berechtigungskombinationen zu verwalten. Frühere Arbeiten bei AWS formalisierten IAM- und S3-Richtlinien mithilfe von SMT-Formeln und zeigten die Machbarkeit dieses Ansatzes.

Das OpenShell-Team zielt darauf ab, einen „Beweis" der Fähigkeiten für gesamte Agentensysteme zu erstellen und über einfache Sandbox-Richtlinien hinaus zu deklarativen Steuerungsmechanismen überzugehen, die unbeabsichtigte Aktionen verhindern. Diese Forschung adressiert die kritische Notwendigkeit von Garantien in der KI-Sicherheit, da Maßstab und Autonomie der Agenten wachsen.