HeadlinesBriefing favicon HeadlinesBriefing.com

एलएलएम वॉटरमार्किंग का एआई एजेंट व्यवहार पर प्रभाव

Hacker News •
×

एंथ्रोपिक ने घोषणा की कि भविष्य के क्लॉड मॉडल Google DeepMind के Synth ID-Text आधारित अदृश्य वॉटरमार्क एम्बेड करेंगे। यह वॉटरमार्किंग, जो संयुक्त राज्य अमेरिका के एआई ऐक्ट के आर्टिकल 50(2) द्वारा संथेटिक टेक्स्ट के लिए आवश्यक है, मॉडल की टोकन जनरेशन प्रक्रिया को बदलती है। मॉडल स्तर पर, यह सुरक्षा व्यवहारों को बदल सकता है, जैसे कि हानिकारक अनुरोधों को अस्वीकार करना, और इन्हें प्रॉमप्ट इंजेक्शन के लिए वुलनर बना सकता है। एजेंट स्तर पर, समान सैंपल किए गए टोकन यह तय करते हैं कि किस टूल को कॉल किया जाता है और कौन से तर्क पास किए जाते हैं। इस व्यवहारिक प्रभाव को सैंपलिंग ड्रिफ्ट कहा जाता है, जिसकी पुष्टि मॉडल इनकार व्यवहार और एजेंट टूल कॉलिंग दोनों में की गई है। यह प्रभाव मॉडल और कुंजी के अनुरूप है और इसे एकत्रित स्कोर्स द्वारा अंधेरा किया जा सकता है। लेख में एआई सुरक्षा और सुरक्षा के लिए असरों और डेवलपर्स को क्या करना चाहिए पर चर्चा की गई है। एंथ्रोपिक की तैनाती वॉटरमार्क को मॉडल स्तर पर लागू करती है, जो क्लॉड प्लेटफार्म API और क्लाउड प्रदाताओं के माध्यम से पहुंचे जाने वाले समर्थित मॉडल्स को कवर करती है, जिससे मॉडल स्तर के व्यवहारिक प्रभाव इन मॉडल्स के चारों ओर बनाए गए एजेंट्स के लिए प्रासंगिक हो जाते हैं। सिंथ आईडी-टेक्स्ट द्वारा उपयोग किया जाने वाला टूर्नामेंट सैंपलिंग, जहां मॉडल अनिश्चित होता है, वहां टोकन चुनने के अवसर बढ़ाता है, जो एजेंट द्वारा कार्यान्वित तर्कों को बदल सकता है।