HeadlinesBriefing favicon HeadlinesBriefing.com

एजेंटों के लिए आर्किटेक्चरल गार्डरेल्स डिजाइन करना

Towards Data Science •
×

मैं आंतरिक एजेंट बना रहा हूँ जो कार्य को बढ़ाने के लिए इंटरनेट अनुसंधान, स्रोत पहुंच और ईमेल भेजने जैसी क्रियाओं की निष्पादन करते हैं। यह प्रॉम्प्ट इंजेक्शन जोखिमों के एक "मौत का त्रिकूण" पैदा करता है। साइमन विलिसन चेतावनी देते हैं कि इंटरनेट अविश्वसनीय है; एलएलएम प्रॉम्प्ट और संदर्भ के बीच अंतर नहीं कर सकते। हमलावर अंधे पाठ टुकड़ों, जैसे कि बाहरी पतों पर डेटा भेजने के आदेश, के माध्यम से एजेंटों को बदल सकते हैं। यहाँ तक कि अनियोजित सामग्री, जैसे कि एक हल्के ढंग से एक हल को बढ़ावा देने वाले प्रतियोगी वेबपेज, एलएलएम को न्यायहीन रैंकिंग के लिए धोखा दे सकती है, जिसे "प्रतिकूल प्रॉम्प्ट इंजेक्शन" कहा जाता है। इतिहास दर्शाता है कि ये जोखिम वास्तविक हैं: नॉटबुक एलएम ग्राहकों की जानकारी लीक कर दी, चैटजीपीटी ऑपरेटर हैकर न्यूज से निजी ईमेल कॉपी किए, और माइक्रोसॉफ्ट कोपायलॉट ने हमलावर साइटों से गलत जानकारी वाले लिंक दिए। मेरी जिम्मेदारी जालस्थित हमलों और अनियोजित परिणामों को रोकने के लिए गार्डरेल्स बनाना था। सुरक्षित एजेंट का डिजाइन सिस्टम की समझ से शुरू होता है। उपयोगकर्ता-स्तरीय रक्षा में संभावित क्रियाओं की सूची देना, प्रमाणीकरण, पहुंच सत्यापन और प्रशिक्षण लागू करना शामिल है। अंतरिक्ष शेयरपॉइंट तक अपलोड सीमित करना और सुरक्षा प्रशिक्षण लागू करना अविश्वसनीय सामग्रि के जोखिम को कम करता है। सिस्टम-स्तरीय रक्षा सबसे प्रभावी मार्ग है, जो एजेंटों को छेड़खान और विरोधी परिणामों से बचाने के लिए आर्किटेक्चरल डिजाइन पैटर्न का उपयोग करती है।