HeadlinesBriefing favicon HeadlinesBriefing.com

OpenShell औपचारिक विधियों से AI एजेंट नियंत्रित करता है

Hacker News •
×

OpenShell स्वायत्त AI एजेंट को नियंत्रित करने के लिए औपचारिक विधियों का उपयोग करने की अनुसंधान करता है। जैसे-जैसे AI एजेंट अधिक स्वायत्त होते जाते हैं और लंबी अवधि के शोध कार्य करते हैं, मानव निगरानी असंभव हो जाती है। एजेंट को विभिन्न डेटा स्टोर और उपकरणों तक पहुंच की आवश्यकता होती है, जिससे जटिल अनुमति चुनौतियां उत्पन्न होती हैं। मूल मुद्दा यह सुनिश्चित करना है कि सीमित नीतियों वाले एजेंट समूह पूरे सिस्टम को दिए गए अनुमतियों से अधिक न जाएं। एक प्रदर्शन में एक एजेंट द्वारा निम्न-स्तरीय Git प्रमाणपत्र का उपयोग करके सैंडबॉक्स प्रतिबंधों को बायपास करने की घटना उजागर हुई, जो घातीय अनुमति संयोजनों को प्रबंधित करने की कठिनाई को दर्शाती है। AWS में पिछले कार्यों ने SMT सूत्रों का उपयोग करके IAM और S3 नीतियों को औपचारिक रूप दिया, जिसने इस दृष्टिकोण की व्यवहार्यता दिखाई। OpenShell टीम का लक्ष्य पूरे एजेंट सिस्टम के लिए क्षमताओं की "प्रूफ" बनाना है, सरल सैंडबॉक्स नीतियों से हटकर ऐलांकटिव नियंत्रण तंत्रों की ओर बढ़ना जो अनजाने में उपयोगिता को रोकते हैं। यह शोध एजेंट पैमाने और स्वायत्तता में वृद्धि के साथ AI सुरक्षा में गारंटी की महत्वपूर्ण आवश्यकता को संबोधित करता है।