Cloudflare kündigte eine neue Einstellung Disallow AI Training an, die Website-Besitzern erlaubt, in Suchmaschinen gelistet zu bleiben, während KI-Training auf ihren Inhalten blockiert wird. Apple, Google und Microsoft respektieren diese Einstellung oder haben sich verpflichtet, sie zu respektieren. Diese Funktion adressiert das Problem von Mixed-Use-Crawlern — einzelnen Bots, die sowohl für Suche als auch für Training eingesetzt werden — die zuvor eine binäre Wahl zwischen Auffindbarkeit und Datenschutz erzwangen.

Cloudflare führte eine Accountable Bezeichnung für Bot-Betreiber ein, die bestimmte Anforderungen erfüllen: Opt-out-Mechanismen für Training und KI-Zusammenfassungen, URL-Sichtbarkeit auf gecrawlten Seiten sowie die Gewährleistung, dass das Opt-out die Suchrankings nicht beeinflusst. Apple, Google und Microsoft qualifizieren sich dafür. Das Unternehmen berichtet, dass 17% der Seiten das Training blockieren aktiviert haben, während weniger als 1% Such-Bots blockieren.

Die neuen Sicherheitskontrollen klassifizieren Bots nach Verhalten: Suche, Training und Agent. Mixed-Use-Crawler kombinieren Suche und Training. Cloudflare identifiziert, klassifiziert und blockiert nicht konforme Crawler und berichtet über das Verhalten der Betreiber auf Radar. Das Ziel ist, bis Anfang nächsten Jahres eine zentrale Steuerung der Einbeziehung von KI-Zusammenfassungen zu erreichen — einmalig auf Cloudflare eingestellt, nicht pro Betreiber.

Wichtige Entitäten: Unternehmen: Cloudflare, Apple, Google, Microsoft

Häufig gestellte Fragen: Wie unterscheidet sich die Einstellung Disallow AI Training von Cloudflare von robots.txt?

Im Gegensatz zu robots.txt bietet die Netzwerkebene-Steuerung von Cloudflare die Identifizierung dessen, wer crawlt, die Klassifizierung ihres Zwecks (Suche vs. Training), das Blockieren nicht konformer Crawler und die Meldung der Einhaltung der Betreiber auf Radar — was eine Durchsetzung bietet, die eine Textdatei nicht leisten kann.