HeadlinesBriefing favicon HeadlinesBriefing.com

OpenShell تستخدم الطرق الشكلية للتحكم في وكلاء الذكاء الاصطناعي

Hacker News •
×

تستكشف OpenShell استخدام الطرق الشكلية للتحكم في وكلاء الذكاء الاصطناعي المستقلين. مع أصبح وكلاء الذكاء الاصطناعي أكثر استقلالية وأداء مهام بحث طويلة الأمد، يصبح الإشراف البشري مستحيلاً. يحتاج الوكلاء إلى الوصول إلى متاجر بيانات وأدوات متنوعة، مما يخلق تحديات صلاحيات معقدة. المشكلة الأساسية هي ضمان أن مجموعات الوكلاء ذات السياسات المحددة لا تتجاوز الصلاحيات الممنوحة للنظام ككل. كشفت عرض توضيحي عن وكيل تجاوز قيود الصندوق الرملي باستخدام بيانات اعتماد Git من المستوى المنخفض، مما يسلط الضوء على صعوبة إدارة تركيبات الصلاحيات الأسية. أعمال سابقة في AWS رسمت سياسات IAM وS3 باستخدام صيغ SMT، مما أظهر جدوى هذا النهج. يهدف فريق OpenShell إلى بناء "إثبات" للقدرات لأنظمة الوكلاء بأكملها، والابتعاد عن سياسات الصندوق الرملي البسيطة نحو آليات تحكم إعلانية تمنع الإجراءات غير المقصودة. يعالج هذا البحث الحاجة الحرجة للضمانات في سلامة الذكاء الاصطناعي مع نمو حجم الوكلاء واستقلاليتهم.