HeadlinesBriefing favicon HeadlinesBriefing.com

تصميم الحواجز المعمارية لوكيلات الذكاء الاصطناعي

Towards Data Science •
×

أنا بناء ووكيلات داخلية لتعزيز العمل، المطلوب بحث إنترنیت، والوصول إلى الموارد، و تنفيذ إجراءات مثل إرسال البريد الإلكتروني. هذا ينشئ "ثلاثة قاتلة" من مخاطرحقن الم-prompts. يحذرك سيمون ويلسون من أنإنترنیت غير موثوق؛ cannot cannot يميز بين الم-prompts والسياق. يمكن للمهاجمين العتام على الووكيلات عبر شذذ متن خفي، مثل أوامر إرسال البيانات إلى عناوين خارجية. حتى المحتوى غير intention، مثل صفحات منافسة مكتوبة لتفضيل حل واحد، يمكن أن يغوي الـLLM لiclassifications غير عادلة، يسمى "حقن الم-prompts غير المباشر". يوضح التاريخ أن هذه المخاطر حقيقية: كشف Notebook LM معلومات العملاء، نسخ ChatGPT Operator بريدًا خاصًا من Hacker News، وقدم Microsoft Copilot روابط خاطئة من مواقع المهاجمين. كانت مسأولتي بناء الحواجز لمنع الهجمات intention وال诺结果 غير الم intention. يبدأ تصميم الووكيلات الآمنة بفهم النظام. تشمل درعات مستوى المستخدم سرد الإجراءات الممكنة وتطبيق المصادقة، والوصول التحقق، والtraining. قيود التحميل إلى SharePoint الداخلي و ENGAGE security training يخفف مخاطر المحتوى غير الموثوق. درعات مستوى النظام هيPath الأكثر فعالية، باستخدام أنماط تصميم المعمارية ل-security الووكيلات ضد الثغرات وال诺结果 advers.