AI নিরাপত্তায় একটি বন্ধুত্বপূর্ণ আগুনের সমস্যা আছে। যে প্রযুক্তি প্রমাণ করে AI পাঠ্য কোথা থেকে এসেছে, তা সেই প্রযুক্তিকে দুর্বল করছে যা পরীক্ষা করে এটি সত্য কিনা। ওয়াটারমার্কিং, বা উৎপন্ন পাঠ্যে একটি লুকানো স্বাক্ষর এমবেড করা, AI অ্যাপ্লিকেশনগুলিতে স্বচ্ছতা বাড়াতে ব্যবহৃত হয় (ইউরোপের EU AI Act অনুচ্ছেদ 50; চীনের AI লেবেলিং নিয়ম)। এছাড়াও, হ্যালুসিনেশন সনাক্তকরণ মডেলের তৈরি উত্তরের অংশগুলি চিহ্নিত করার চেষ্টা করে। নিয়ন্ত্রকরা উভয়কেই চাপ দিচ্ছেন, কিন্তু AI মডেলের মধ্যে স্বচ্ছতা এবং দায়বদ্ধতার মধ্যে একটি লুকানো সংঘর্ষ বিদ্যমান।

একটি LLM পরবর্তী টোকেনের উপর সম্ভাব্যতা বন্টন গণনা করে। কখনও কখনও সেই বন্টন তীক্ষ্ণ হয়, যেমন "ফ্রান্সের রাজধানী" এর পরে, যেখানে "প্যারিস" বাধ্যতামূলক। কখনও কখনও এটি সমতল, একাধিক ধারাবাহিকতা সমানভাবে সম্ভব। সমতলতাকে এনট্রপি বলা হয়। উভয় প্রযুক্তি উচ্চ-এনট্রপি অবস্থানে বাস করে। একটি পাঠ্য ওয়াটারমার্ক একটি গোপন কী ব্যবহার করে মুদ্রা নিক্ষেপকে পক্ষপাতী করে, যেমন Kirchenbauer এবং সহকর্মীদের 2023 স্কিম, যা শব্দভাণ্ডারকে সবুজ এবং লাল তালিকায় বিভক্ত করে। পাঠ্য স্বাভাবিকভাবে পড়া হয় কিন্তু আরও সবুজ টোকেন ধারণ করে।

কী সহ একটি ডিটেক্টর সবুজ টোকেন গণনা করে এবং অসম্ভাব্যতা গণনা করে। Google DeepMind-এর Synth ID-Text, Gemini মডেলগুলিতে, টুর্নামেন্ট স্যাম্পলিং ব্যবহার করে। বিকৃতি-মুক্ত স্কিমগুলি পক্ষপাত সাজায় যাতে আউটপুট বন্টন গড়ে অপরিবর্তিত থাকে। কিন্তু একটি ওয়াটারমার্ক কেবল সেখানেই ঠেলতে পারে যেখানে জায়গা আছে। নিম্ন-এনট্রপি অবস্থানে, পক্ষপাত মানে ভুল শব্দ এবং মানের পতন। সংঘর্ষ মডেলের অভ্যন্তরে লুকানো কিন্তু AI নিরাপত্তার জন্য বাস্তব পরিণতি আছে।

মূল সত্তা: কোম্পানি: Google DeepMind | ব্যক্তি: Kirchenbauer