Cloudflare ने एक नई Disallow AI Training सेटिंग की घोषणा की, जो वेबसाइट मालिकों को खोज के लिए इंडेक्स्ड रहने की अनुमति देती है जबकि उनकी सामग्री पर AI प्रशिक्षण को ब्लॉक करती है। Apple, Google और Microsoft इस नियंत्रण का पालन करते हैं या उसका पालन करने के लिए प्रतिबद्ध हैं। यह सुविधा मिश्रित उपयोग वाले क्रॉलर्स की समस्या को हल करती है — एकल बॉट जो zarówno खोज और प्रशिक्षण दोनों के लिए काम करते हैं — जो पहले खोजने की क्षमता और डेटा संरक्षण के बीच एक बाइनरी विकल्प चुनने के लिए मजबूर करते थे।

Cloudflare ने एक Accountable नामांकन पेश किया है, जो उन बॉट ऑपरेटरों को दिया जाता है जो आवश्यकताओं को पूरा करते हैं: प्रशिक्षण और AI सारांशों के लिए ऑप्ट-आउट तंत्र, क्रॉल किए गए पृष्ठों पर URL-स्तर की दृश्यता, और आश्वासन कि ऑप्ट-आउट करने से खोज रैंकिंग पर प्रभाव नहीं पड़ेगा। Apple, Google और Microsoft योग्य हैं। कंपनी रिपोर्ट करती है कि 17% साइट्स प्रशिक्षण ब्लॉक को सक्षम करती हैं, जबकि कम से कम 1% साइट्स खोज बॉट्स को ब्लॉक करती हैं।

नई सुरक्षा नियंत्रण व्यवहार के आधार पर बॉट्स को वर्गीकृत करते हैं: खोज, प्रशिक्षण और एजेंट。 मिश्रित उपयोग वाले क्रॉलर्स खोज और प्रशिक्षण को मिलाते हैं। Cloudflare अनुपालन न करने वाले क्रॉलर्स की पहचान करता है, उन्हें वर्गीकृत करता है और ब्लॉक करता है, और Radar पर ऑपरेटर व्यवहार की रिपोर्ट करता है। अगले साल की शुरुआत तक का लक्ष्य AI सारांश समावेशन पर केंद्रीकृत नियंत्रण हासिल करना है — Cloudflare पर एक बार सेट करना, प्रत्येक ऑपरेटर के लिए नहीं।

मुख्य इकाइयाँ: कंपनियाँ: Cloudflare, Apple, Google, Microsoft

अक्सर पूछे जाने वाले प्रश्न: Cloudflare की Disallow AI Training सेटिंग robots.txt से कैसे अलग है?

robots.txt के विपरीत, Cloudflare का नेटवर्क-स्तरीय नियंत्रण पहचानता है कि कौन क्रॉल कर रहा है, उनके उद्देश्य को वर्गीकृत करता है (खोज बनाम प्रशिक्षण), अनुपालन न करने वाले क्रॉलर्स को ब्लॉक करता है, और Radar पर ऑपरेटर अनुपालन की रिपोर्ट करता है — एक टेक्स्ट फ़ाइल द्वारा प्रदान नहीं की जा सकने वाली प्रवर्तन प्रदान करता है।