Cloudflare erlaubt Suche, verbietet KI-Training
Cloudflare führt neue Regeln für KI-Crawler ein. Website-Betreiber können nun die Nutzung ihrer Inhalte für das Training von KI-Modellen verhindern, während Suchmaschinen weiterhin indexieren dürfen.
Das Netzwerksicherheitsunternehmen Cloudflare hat neue Kontrollmöglichkeiten für KI-bezogene Bots eingeführt. Mit der Neuerung können Website-Betreiber festlegen, ob ihre Inhalte für das Training von KI-Modellen verwendet werden dürfen oder nicht. Gleichzeitig wird Suchmaschinen wie Google und Bing weiterhin erlaubt, die Inhalte für Suchzwecke zu indexieren.
Die neue Einstellung "Disallow AI Training" richtet sich insbesondere an vielseitige Bots wie Applebot, Googlebot und Bingbot, die sowohl Suchfunktionen als auch potenziell KI-Training abdecken. Zuvor hätte die Blockierung eines solchen Bots für Trainingszwecke auch seine Indexierungsfähigkeit für die Suche unterbunden. Cloudflares neuer Ansatz wird in der robots.txt-Datei veröffentlicht und klassifiziert die ankommenden Bots nach ihrem Verwendungszweck.
Reine KI-Trainingsbots werden von Cloudflare bereits auf Infrastrukturebene blockiert. Bei vielseitigen Bots wird erwartet, dass sie die robots.txt-Anweisung bezüglich des Trainings respektieren, während sie weiterhin für Suchzwecke indexieren. Cloudflare hat die Bots in drei Kategorien unterteilt: Suche (Search), Training (Training) und Agent (Agent), was eine feinere Steuerung ermöglicht.
Diese Änderungen, die seit dem 15. September gelten, ersetzen die bisherige pauschale Option "Block AI Bots" durch spezifischere Kategorien. Cloudflare plant, bestehende Konfigurationen automatisch zu migrieren. Das Unternehmen bezeichnet Apple, Google und Microsoft als "verantwortungsbewusste" Akteure, da diese separate Kontrolloptionen für das Opt-out beim KI-Training anbieten oder Verpflichtungen zur Transparenz und Suchsichtbarkeit trotz Trainingsbeschränkungen eingehen.