السلامة الذكية لديها مشكلة نيران صديقة. التكنولوجيا التي تثبت من أين جاء النص الذكي تضعف التكنولوجيا التي تتحقق من صحته. العلامة المائية، أو تضمين توقيع مخفي في النص المولد، تستخدم لزيادة الشفافية في تطبيقات الذكاء الاصطناعي (المادة 50 من قانون الذكاء الاصطناعي للاتحاد الأوروبي في أوروبا؛ لائحة وضع العلامات الذكية في الصين). بالإضافة إلى ذلك، يحاول كشف الهلوسة تحديد أجزاء من الإجابة التي اختلقها النموذج. يدفع المنظمون كلاهما، لكن يوجد تصادم خفي داخل نماذج الذكاء الاصطناعي بين الشفافية والمسؤولية.

يحسب نموذج اللغة الكبير توزيع الاحتمالات على الرمز التالي. أحيانًا يكون هذا التوزيع حادًا، مثل بعد "عاصمة فرنسا هي"، حيث "باريس" إجبارية. أحيانًا يكون مسطحًا، مع استمرارات متعددة محتملة بنفس القدر. يسمى التسطيح بالإنتروبيا. تعيش كلتا التقنيتين في مواضع عالية الإنتروبيا. تحيز العلامة المائية النصية رمي العملة باستخدام مفتاح سري، كما في مخطط Kirchenbauer وزملائه لعام 2023، الذي يقسم المفردات إلى قوائم خضراء وحمراء. يقرأ النص بشكل طبيعي لكنه يحتوي على رموز خضراء أكثر.

يحسب كاشف بالمفتاح الرموز الخضراء ويحسب عدم الاحتمالية. يستخدم Synth ID-Text من Google DeepMind، في نماذج Gemini، أخذ العينات بالبطولة. ترتب المخططات الخالية من التشويه التحيز بحيث لا يتغير توزيع المخرجات في المتوسط. لكن العلامة المائية يمكنها الدفع فقط حيث توجد مساحة. في مواضع منخفضة الإنتروبيا، يعني التحيز كلمات خاطئة وانهيار الجودة. التصادم مخفي في داخل النموذج لكن له عواقب حقيقية على السلامة الذكية.

الكيانات الرئيسية: الشركات: Google DeepMind | الأشخاص: Kirchenbauer