Cloudflare zavádí nové nastavení Disallow AI Training, které má webům umožnit zůstat dostupné pro klasické vyhledávače a současně odmítnout používání obsahu k trénování modelů. Firma rozlišuje tři typy crawlerů: vyhledávací, trénovací a agenty, kteří načítají stránky na pokyn člověka. Problémem jsou smíšení crawlery, kteří dělají více činností najednou. Nová volba se propíše do robots.txt a má řešit situaci, kdy by úplné zablokování robota poškodilo viditelnost webu ve vyhledávání. Cloudflare zároveň označuje jako Accountable provozovatele, kteří nabídnou možnost odmítnout trénování, přehled o použitých URL a záruku, že volba nepoškodí tradiční vyhledávání. Mezi prvními uvádí Apple, Google a Microsoft.
