OpenStreetMap není běžný komerční web, který si může při nárazové špičce jednoduše koupit další servery a přenést náklady do rozpočtu na marketing. Je to veřejně používaná infrastruktura postavená na otevřených datech, komunitě a službách, na které spoléhají lidé i aplikace. Když ji začne ve velkém zatěžovat automatizovaný provoz, účet neplatí jen provozovatel. Platí ho každý, komu mapa nebo API přestane odpovídat.
Právě to se stalo 15. září. Tým OpenStreetMap Operations oznámil, že web OpenStreetMap.org a jeho API mají problémy kvůli velkému množství AI crawlerů a scraperů. Pozdější aktualizace uvedla, že služby byly obnoveny poté, co se podařilo příliv automatizovaných návštěv přibrzdit. Původní oznámení OpenStreetMap Operations nepopisuje jeden konkrétní útok. Popisuje systémový problém, který bude s rostoucím počtem AI nástrojů potkávat další weby.
Veřejná data nejsou bezplatný výpočetní zdroj
Pro člověka je rozdíl mezi otevřenou webovou stránkou a API skoro neviditelný. Klikne na mapu, zadá adresu nebo si nechá zobrazit trasu a dostane výsledek. Pro automatizovaný systém je ale každá stránka, dlaždice, odpověď API nebo produktový detail další položka ke stažení. Jeden požadavek nic neznamená. Miliony požadavků v krátkém čase už mohou změnit službu pro všechny ostatní.
U AI crawlerů je navíc obtížné mluvit o jednom typu provozu. Jeden robot může sbírat data pro budoucí trénink modelu, jiný načítat stránky v reakci na konkrétní dotaz uživatele a další se pokoušet sestavit vlastní databázi. Zvenčí mohou všechny tyto návštěvy vypadat jako automatické čtení webu. Jejich přínos pro provozovatele i jejich nároky na infrastrukturu jsou ale úplně jiné.
OpenStreetMap na tento rozdíl upozorňuje ve svých pravidlech. Pravidla používání API říkají, že editační API není určeno pro projekty, které pouze čtou data, a že velcí nebo častí uživatelé mají využít planet.osm, vlastní server nebo jinou vhodnou alternativu. Provozovatel si tak nehraje na to, že otevřenost znamená neomezený přístup k jeho výpočetní kapacitě.
To je důležitá hranice i pro AI firmy. Otevřená licence nebo veřejně dostupná stránka řeší, co lze s daty dělat z právního hlediska. Neřeší, kdo zaplatí servery, přenos a údržbu ve chvíli, kdy se z běžného čtení stane průmyslové stahování.
Robots.txt není firewall
Weby se dlouho bránily hlavně pomocí robots.txt. Je to rozumný první signál, ne technická zeď. Standard Robots Exclusion Protocol říká robotům, které části webu nemají procházet. Sám o sobě ale nezastaví klienta, který pravidla ignoruje, mění identifikaci nebo rozděluje provoz mezi velké množství adres.
Stejný problém se týká i rozlišení mezi trénovacím crawlerem a agentem, který načítá obsah na žádost konkrétního člověka. Na Radyz jsme už ukázali, že web může blokovat GPTBot kvůli tréninkovému sběru a současně nechávat otevřený ChatGPT-User pro načtení stránky v reálném čase. Rozdíl mezi těmito dvěma typy provozu není detail pro administrátory. Může rozhodnout o tom, zda se obsah objeví v odpovědi AI, nebo z ní zmizí.
Provozovatel tedy stojí před nepříjemnou volbou. Když povolí všechno, může ohrozit dostupnost služby. Když zablokuje všechno, ochrání infrastrukturu, ale zároveň zavře dveře nástrojům, které mu mohou přivést uživatele. U OpenStreetMap je navíc veřejný zájem na dostupném API zřetelnější než u běžného marketingového webu. Výpadek neznamená jen méně návštěv z vyhledávače, ale problém pro aplikace, které mapová data používají jako součást vlastní služby.
E-shopy řeší přesně opačný problém
U internetových obchodů je situace obrácená. E-shop nechce, aby mu tisíce robotů bez užitku stahovaly katalog, ceny a fotografie. Zároveň ale potřebuje, aby se jeho produkty dostaly do systémů, přes které lidé začínají hledat a nakupovat. AI agent může zákazníkovi porovnat několik výrobků, vyhodnotit jeho požadavky a poslat ho rovnou na konkrétní produkt. Obchod, který takového návštěvníka zablokuje společně se scraperem, může odmítnout člověka, aniž by o něm vůbec věděl.
Na Radyz jsme už psali o tom, že se nákupní rozhodování přesouvá do AI rozhraní. E-shop dnes nesoutěží pouze o pozici ve vyhledávači. Soutěží také o to, zda jeho produktová data dokáže stroj přečíst, správně pochopit a doporučit v odpovědi na konkrétní dotaz.
To neznamená, že každý AI crawler je vítaný návštěvník. Agent, který načte jednu produktovou stránku na žádost zákazníka, je něco jiného než síť robotů, která v krátkém čase projde celý katalog, opakuje stejné dotazy a ignoruje omezení serveru. První provoz může přinést objednávku. Druhý může jen zvyšovat náklady a zhoršovat dostupnost webu.
E-shopy proto potřebují rozlišovat podle účelu, identity a chování. Nestačí se podívat na jeden řetězec user-agentu a rozhodnout, že všechno s názvem AI půjde do blokace. Identifikace se dá zfalšovat a legitimní služba může používat více technických cest. Důležitější je sledovat rychlost požadavků, opakování, přístup k jednotlivým typům dat, respektování limitů a to, zda provoz vede k měřitelnému užitku.
Když obchod zavře dveře, může přijít o budoucí zákazníky
Krátkodobě je blokace lákavá. Server se uklidní, monitoring přestane hlásit špičky a provozovatel má pocit, že problém vyřešil. Jenže pokud AI agenti postupně převezmou část produktového průzkumu, může se z dnešní ochrany stát zítřejší neviditelnost. Zákazník se totiž nemusí dozvědět, že obchod existuje, a obchod se nemusí dozvědět, že o něj zákazník přišel.
To je odlišný typ ztráty než pokles návštěvnosti v analytice. Uživatel může produkt objevit v AI nástroji, ale nakonec koupit u konkurence, protože jeho obchodní nabídka nebyla načtená nebo byla zastaralá. E-shop neuvidí opuštěnou návštěvu, neobjeví se mu referrer a často nezjistí ani to, že rozhodnutí vzniklo mimo jeho web.
Problém bude ještě ostřejší u menších obchodů. Velká platforma si může dovolit vlastní feedy, partnerské integrace a technický tým, který bude pravidla crawlerů průběžně upravovat. Malý e-shop často používá hotovou platformu, několik pluginů a produktový katalog od dodavatele. Pokud platforma nabídne jen univerzální volbu povolit nebo zakázat AI boty, dostane obchodník falešné bezpečí, ale žádnou skutečnou kontrolu.
Zavřít celý web před automatizovaným přístupem proto není neutrální rozhodnutí. Znamená to odmítnout část budoucí distribuční sítě. Stejně jako obchod nemůže ignorovat mobilní zobrazení jen proto, že většina zákazníků nakupuje dnes z počítače, nemůže dlouhodobě ignorovat AI rozhraní jen proto, že jeho současná statistika ukazuje několik návštěv z ChatGPT.
Správná obrana není otevřít všechno
E-shopy nemusí volit mezi naivní otevřeností a totální blokací. Základ tvoří oddělení veřejných produktových informací od citlivých částí webu. Cena, dostupnost, parametry, varianty, kompatibilita a informace o dopravě mohou být připravené pro strojové čtení. Účet zákazníka, osobní údaje, interní vyhledávání, administrace a platební kroky musí mít výrazně přísnější režim.
Pomoci mohou také produktové feedy a strukturovaná data. Specifikace produktových dat v Google Merchant Center ukazuje, jak důležitá je přesnost názvu, ceny, dostupnosti, identifikátorů a variant už pro klasické obchodní platformy. AI agent nepotřebuje další marketingovou básničku. Potřebuje zjistit, co se prodává, za kolik, komu to dává smysl a zda je informace aktuální.
Technická ochrana by měla zahrnovat limity rychlosti, cachování, monitoring a možnost jednotlivé zdroje provozu postupně povolovat nebo omezovat. Užitečné je také oddělit načítání produktového katalogu od procházení celého webu. Agent může dostat stabilní a levnější cestu k produktovým datům, zatímco náhodný scraper narazí na limity dříve, než začne zatěžovat celý obchod.
To vyžaduje spolupráci mezi e-shopy a provozovateli AI služeb. Nestačí zveřejnit seznam identifikátorů a očekávat, že tím vznikne důvěra. Služba, která chce doporučovat produkty, by měla umět popsat, jak se identifikuje, jak respektuje limity a jak často aktualizuje data. Obchodník zase musí jasně říct, jaké informace nabízí, jaké roboty nechce a proč.
Veřejný web bude vyjednávat s průmyslem AI
Případ OpenStreetMap ukazuje, že internet vstupuje do nové fáze. Weby už nečtou jen lidé a několik tradičních vyhledávačů. Čtou je systémy, které obsah dále shrnují, porovnávají, prodávají nebo používají jako vstup pro další automatizované kroky. Každý provozovatel proto musí přemýšlet nejen nad tím, zda je jeho obsah veřejný, ale také za jakých podmínek má být čten.
U veřejných a komunitních služeb bude klíčové chránit kapacitu před provozem, který nepřináší odpovídající hodnotu. U e-shopů bude stejně důležité neodříznout se od kanálu, kde se může odehrávat první část nákupního rozhodnutí. Obě strany potřebují stejnou věc: přesnější identifikaci, férové limity a technickou možnost odlišit užitečného agenta od hlučného scrapera.
Nejhorší řešení je paušální. OpenStreetMap nemůže dlouhodobě fungovat jako bezplatný backend pro každý projekt, který si chce stáhnout celý svět. E-shop zase nemůže bez rozmyslu zablokovat každého robota s označením AI a pak se divit, že jeho produkty v odpovědích agentů nejsou.
AI tak nepřináší jen další způsob, jak vyrábět nebo hledat obsah. Přepisuje i dohodu o tom, kdo smí veřejný web číst, jak rychle a s jakým účelem. Kdo bude tento rozdíl ignorovat, může jednou zjistit, že buď platí účet za cizí scraping, nebo sám dobrovolně zmizel z místa, kde si jeho zákazníci vybírají.
