Cloudflare autorise la recherche, interdit l'entraînement IA
Cloudflare introduit de nouvelles règles pour les robots d'IA. Les opérateurs de sites web peuvent désormais empêcher l'utilisation de leur contenu pour l'entraînement de modèles d'IA tout en autorisant l'indexation par les moteurs de recherche.
La société de sécurité réseau Cloudflare a mis en place de nouvelles commandes pour les robots liés à l'intelligence artificielle (IA). La mise à jour permet aux opérateurs de sites web de spécifier si le contenu de leur site peut être utilisé pour entraîner des modèles d'IA. Parallèlement, les moteurs de recherche comme Google et Bing sont toujours autorisés à explorer et indexer le site à des fins de recherche.
Le nouveau paramètre "Disallow AI Training" vise spécifiquement les robots polyvalents tels qu'Applebot, Googlebot et Bingbot, qui gèrent à la fois la recherche et potentiellement l'entraînement à l'IA. Auparavant, le blocage d'un tel robot pour des raisons d'entraînement aurait également empêché son indexation pour la recherche. L'approche affinée de Cloudflare consiste à publier ces préférences dans le fichier robots.txt et à classer les robots selon leur usage prévu.
Les robots dédiés uniquement à l'entraînement de l'IA sont déjà bloqués par Cloudflare au niveau de son infrastructure. Pour les robots polyvalents, l'attente est qu'ils respectent la directive robots.txt interdisant l'entraînement tout en continuant à indexer pour la recherche. Cloudflare a catégorisé les robots en trois usages : Recherche (Search), Entraînement (Training) et Agent (Agent), offrant ainsi un contrôle plus granulaire.
Ces changements, effectifs depuis le 15 septembre, remplacent l'ancienne option générale "Block AI Bots" par des catégories plus précises. Cloudflare prévoit de migrer automatiquement les configurations existantes. L'entreprise désigne Apple, Google et Microsoft comme entités "responsables", citant leur offre d'options de contrôle distinctes pour le refus d'entraînement à l'IA ou leurs engagements en matière de transparence et de visibilité de recherche malgré les restrictions d'entraînement.