আমি আন্তরিক এজেন্ট তৈরি করছি যা কাজ বাড়াতে ইন্টারনেট গবেষণা, সুরক্ষা অ্যাক্সেস এবং ইমেল পাঠানোর মতো ক্রিয়াকলাপ সম্পাদন করে। এটি প্রম্পট ইঞ্জেকশন ঝুঁকির একটি "মৃত্যু ত্রিশকুল" তৈরি করে। সাইমন উইলিসন সতর্ক করেন যে ইন্টারনেট অবিশ্বাস্য; এলএলএম প্রম্পট এবং প্রেক্ষিতের মধ্যে পার্থক্য করতে পারে না। অপারেটররা লুকানো টেক্সট টুকরো, যেমন বাইরের ঠিকানায় ডেটা পাঠানোর নির্দেশ, দিয়ে এজেন্টদের পরিবর্তন করতে পারে। এমনকি অবিভাবনামূলক বিষয়বস্তু, যেমন একটি সমাধানকে অগ্রহণযোগ্যভাবে উন্নত করতে লেখা প্রতিযোগী ওয়েবপেজ, এলএলএমকে ন্যায়বিচারহীন র্যাংকিংয়ের জন্য প্রতারিত করতে পারে, যা "প্রতিকূল প্রম্পট ইঞ্জেকশন" হিসেবে পরিচিত। ইতিহাস দেয় যে এই ঝুঁকিরা বাস্তব: নোটবুক এলএম গ্রাহকদের তথ্য লীক করেছে, চ্যাটজিপিটি অপারেটর হ্যাকার নিউজ থেকে ব্যক্তিগত ইমেল কপি করেছে, এবং মাইক্রোসফট কোপাইলট আক্রমকারী সাইট থেকে ভুল লিংক দিয়েছে। আমার দায়িত্ব ছিল ইচ্ছাকৃত আক্রমণ এবং অবিভাবনামূলক ফলাফল রোধ করার জন্য গার্ডরেল তৈরি করা। নিরাপদ এজেন্ট ডিজাইন সিস্টেমের বোঝা দিয়ে শুরু হয়। ব্যবহারকারী-স্তরের রক্ষায় সম্ভাব্য ক্রিয়াকলাপের তালিকা এবং অ্যাথেনটিকেশন, অ্যাক্সেস যাচাই এবং প্রশিক্ষण প্রয়োগ অন্তরভুক্ত। আন্তরিক শেয়ারপয়েন্টে আপলোড সীমিত করা এবং নিরাপত্তা প্রশিক্ষণ প্রয়োগ অবিশ্বাস্য বিষয়বস্তুর ঝুঁকি কমায়। সিস্টেম-স্তরের রক্ষা সবচেয়ে কার্যকর পथ, এজেন্টদের মধ্যে ফাটল এবং প্রতিযোগী ফলাফলের বিরুদ্ধে রক্ষার জন্য আর্কিটেকচারাল ডিজাইন প্যাটার্ন ব্যবহার করে।