أعلنت Cloudflare عن إعداد جديد Disallow AI Training يسمح لأصحاب المواقع بالبقاء مفهرسين للبحث بينما يحظرون تدريب الذكاء الاصطناعي على محتواهم. Apple، Google وMicrosoft يحترمون هذا الإعداد أو التزموا بذلك. تتناول هذه الميزة مشكلة الزاحفين ذات الاستخدام المختلط — بوتات واحدة تخدم كلاً من البحث والتدريب — والتي كانت سابقًا تفرض خيارًا ثنائيًا بين القابلية للاكتشاف وحماية البيانات.

أطلقت Cloudflare تسمية Accountable لمشغلي البوتات الذين يستوفون المتطلبات: آليات الانسحاب للتدريب وملخصات الذكاء الاصطناعي، ورؤية على مستوى عنوان URL للصفحات التي تم الزحف إليها، والضمان أن الانسحاب لن يؤثر على تصنيفات البحث. Apple، Google وMicrosoft يستوفون الشروط. تشير الشركة إلى أن 17% من المواقع تفعّل حظر التدريب، بينما أقل من 1% تحظر زواحف البحث.

تصنف ضوابط الأمان الجديدة البوتات حسب السلوك: بحث، تدريب ووكيل. الزاحفون ذات الاستخدام المختلط يجمعون بين البحث والتدريب. تقوم Cloudflare بتحديد وتصنيف وحجب الزاحفين غير المتوافقين، وتقارير عن سلوك المشغل على Radar. والهدف بحلول أوائل العام المقبل هو تحقيق تحكم مركزي في إدراج ملخصات الذكاء الاصطناعي، يتم ضبطه مرة واحدة على Cloudflare بدلاً من لكل مشغل.

الكيانات الرئيسية: الشركات: Cloudflare، Apple، Google، Microsoft

الأسئلة الشائعة: كيف يختلف إعداد Disallow AI Training الخاص بـ Cloudflare عن robots.txt؟

على عكس robots.txt، يوفر التحكم على مستوى الشبكة في Cloudflare تحديد من يزحف، وتصنيف غرضهم (بحث مقابل تدريب)، وحجب الزاحفين غير المتوافقين، وإبلاغ امتثال المشغل على Radar — مما يوفر إنفاذًا لا يمكن لملف نصي تحقيقه.