Cloudflare tillåter sökning, förbjuder AI-träning
Cloudflare inför nya regler för AI-crawlers. Webbplatsoperatörer kan nu förhindra att deras innehåll används för att träna AI-modeller, samtidigt som sökmotorer tillåts fortsätta indexera det.
Nätverkssäkerhetsföretaget Cloudflare inför nya regler för AI-relaterade bots. Uppdateringen gör det möjligt för webbplatsoperatörer att separat specificera om webbplatsens innehåll får användas för att träna AI-modeller eller inte. Samtidigt tillåts sökmotorer som Google och Bing att fortsätta indexera innehållet för informationssökning.
Den nya "Disallow AI Training"-inställningen riktar sig särskilt till mångfunktionella bots, såsom Applebot, Googlebot och Bingbot, som hanterar både informationssökning och potentiellt AI-träning. Tidigare skulle blockering av en sådan bot också ha lett till att den blockerades från sökresultaten. Cloudflares nya tillvägagångssätt publiceras i robots.txt-filen och klassificerar ankommande bots baserat på deras användningsområde.
Renodlade träningsbots för AI blockeras redan av Cloudflare på infrastrukturell nivå. För mångfunktionella bots förväntas det dock att de följer träningsförbudet som anges i robots.txt-filen, samtidigt som de fortsätter att indexera webbplatsen för söksyften. Cloudflare har delat in bots i tre kategorier: sökning (search), träning (training) och agent (agent). Denna differentiering möjliggör en tidigare mer detaljerad kontroll.
Ändringarna trädde i kraft den 15 september. Den tidigare allmänna inställningen "Block AI Bots" ersätts av mer detaljerade kategorier. Cloudflare strävar efter att automatiskt överföra befintliga inställningar till de nya funktionerna. Företaget klassificerar Apple, Google och Microsoft som "ansvariga" aktörer, eftersom dessa erbjuder separata kontrollalternativ för att förhindra AI-träning eller gör åtaganden om transparens och bibehållande av sökbarhet trots träningsförbudet.