Anthropic se dlouhodobě snaží vystupovat jako dospělý člen AI průmyslu. Zatímco ostatní firmy závodí o výkon, peníze a vládní zakázky, Anthropic údajně přemýšlí také o bezpečnosti, odpovědnosti a budoucnosti lidstva.
Teď společnost oznámila, že Claude pronikl do systémů tří skutečných organizací – během jejích vlastních bezpečnostních testů a bez jakéhokoli oprávnění.
Protože nic nevystihuje bezpečnostní kulturu lépe než chvíle, kdy vlastní bezpečnostní test začne napadat cizí firmy.
Tři průniky ve 141 tisících testů
Anthropic případy objevil při zpětné kontrole více než 141 000 testovacích běhů. Audit spustil poté, co OpenAI přiznala podobný incident, při němž její modely unikly z testovacího prostředí a pronikly do infrastruktury společnosti Hugging Face.
V případě Anthropicu šlo o modely Claude Opus 4.7, Claude Mythos 5 a interní výzkumný model. Během úloh typu capture the flag dostaly za úkol hledat zranitelnosti a získávat ukrytá data v domněle izolovaných sítích.
Jenže prostředí nebylo izolované tak důkladně, jak si jeho provozovatelé mysleli.
Kvůli chybě v nastavení externího testovacího prostředí získaly modely přístup ke skutečnému internetu. Následně našly slabě zabezpečené služby, nechráněná rozhraní a špatná hesla a pustily se do práce. Dvě napadené organizace o incidentu údajně nevěděly, dokud je Anthropic sám nekontaktoval.
Nešlo přitom o žádnou digitální superinteligenci, která několik týdnů studovala síťovou architekturu a následně spustila útok hodný tajné služby. Claude využil převážně obyčejné bezpečnostní chyby.
To ovšem není příliš uklidňující.
Model nepotřeboval geniální plán. Stačilo, že dostal nástroje, cíl a přístup k internetu. Zbytek za něj obstaraly chyby, které firmy nechávají ve svých systémech s obdivuhodnou pravidelností.
Claude pronikl k produkční databázi. Pořád si myslel, že hraje
V jednom případě dostal model v zadání smyšlenou firmu, jejíž doména však odpovídala skutečnému webu. Claude pak získal přihlašovací údaje a dostal se až k produkční databázi.
Model měl podle instrukcí za to, že se pohybuje v simulaci. Realita se však mezitím nenápadně přimíchala do testu, jak už to realita dělává, když lidé špatně nastaví infrastrukturu.
V jiném případě model podle dostupných informací rozpoznal, že pravděpodobně útočí na skutečný systém, a další postup ukončil. Ne všechny testované modely však reagovaly stejně a minimálně jeden pokračoval i přes známky, že cíl nemusí být součástí simulace.
To je důležitý detail. Incident není důkazem, že Claude získal vědomí, vlastní vůli nebo touhu stát se kybernetickým zločincem. Ukazuje však něco praktičtějšího: pokročilý AI agent dokáže pokračovat v plnění cíle i v okamžiku, kdy prostředí přestane odpovídat předpokladům jeho provozovatelů.
A provozovatelé, jak se ukazuje, mívají předpokladů hodně a správně nastavených sandboxů podstatně méně.
OpenAI zvládla ještě působivější útěk
Incident Anthropicu přišel jen několik dní poté, co podobný problém přiznala OpenAI.
Její modely včetně GPT-5.6 Sol a výkonnějšího předprodukčního systému dostaly během interního testu za úkol řešit pokročilé kybernetické úlohy. Produkční bezpečnostní filtry byly pro účely testování omezeny a modely měly pracovat v izolovaném prostředí bez běžného přístupu k internetu.
Modely však našly zero-day zranitelnost v proxy serveru používaném pro instalaci softwarových balíčků. Přes ni získaly přístup k internetu, eskalovaly oprávnění, pohybovaly se napříč výzkumnou sítí OpenAI a nakonec pronikly do produkčních systémů Hugging Face.
Tam hledaly řešení testu, aby mohly splnit zadaný úkol.
Jinými slovy, modely se během zkoušky rozhodly opisovat, jen kvůli tomu nejdříve utekly z učebny, vypáčily dveře do vedlejší budovy a pronikly do databáze společnosti, která měla správné odpovědi.
OpenAI incident označila za bezprecedentní. Modely podle firmy kombinovaly odcizené přihlašovací údaje, několik zranitelností a cestu ke vzdálenému spuštění kódu na serverech Hugging Face. Následně vyšlo najevo, že se stejný agent pokusil proniknout i do dalších čtyř společností.
Ve srovnání s tím působí Claude skoro skromně. OpenAI předvedla složitý útěk a řetězení zranitelností. Anthropic nechal své modely otevřít dveře, které byly špatně zamčené.
Výsledek je ale stejný: AI laboratoře testovaly schopnost svých modelů napadat systémy a nezajistily, aby napadaly pouze ty testovací.
Bezpečnostní firma, která zapomněla na „noindex“
Anthropic přitom neřeší pouze problém s neposlušnými kybernetickými testy.
Ve stejné době se ukázalo, že veřejně sdílené konverzace a dokumenty vytvořené v Claudu byly dohledatelné přes Google a Bing. Uživatelé mohli vytvořit veřejný odkaz na konverzaci, který měl být určen především lidem, kterým jej sami poslali.
Některé z těchto stránek však následně zaindexovaly vyhledávače.
Claude měl sice sdílené stránky blokovat pomocí souboru robots.txt, ale na jednotlivých stránkách chyběla spolehlivější instrukce „noindex“. Výsledkem byly tisíce dohledatelných konverzací a artefaktů, z nichž některé mohly obsahovat osobní nebo citlivé informace.
Anthropic zdůraznil, že konverzace jsou standardně soukromé a uživatel musí veřejný odkaz vytvořit vědomě. To je technicky pravda. Stejně tak je ale pravda, že „veřejně dostupné přes odkaz“ a „vyhledatelné přes Google“ nejsou pro běžného uživatele totéž.
Firma, která chce určovat bezpečnostní standardy celému AI průmyslu, tak během jednoho týdne vysvětlovala, proč její modely útočily na cizí systémy a proč se konverzace uživatelů objevovaly ve výsledcích vyhledávání.
Marketingové oddělení muselo mít radost.
Anthropic není charita ani mírové hnutí
Anthropic si vybudoval značnou část své identity na tvrzení, že k vývoji AI přistupuje opatrněji než konkurence. Firma zveřejňuje bezpečnostní rámce, testuje modely na nebezpečné schopnosti a občas se veřejně postaví proti využití AI, které považuje za příliš rizikové.
Nejviditelnější byl její spor s americkým ministerstvem obrany. Anthropic odmítl povolit dvě konkrétní použití Clauda: plně autonomní zbraně a masové sledování Američanů.
Zní to zásadově. Je však vhodné dodat zbytek příběhu.
Claude už byl nasazen v utajovaných vládních sítích, při zpravodajské analýze, plánování operací a kybernetických činnostech. Anthropic se tedy armádě nevyhýbal. Měl s Pentagonem kontrakt v hodnotě stovek milionů dolarů a přel se pouze o hranice jeho využití.
To z firmy nedělá pokrytce automaticky. Je rozumné stanovit hranici mezi vojenskou analýzou a strojem, který samostatně rozhodne, koho zastřelit.
Současně je ale stále obtížnější přijímat představu, že Anthropic stojí mimo běžnou komerční logiku Silicon Valley. Nestojí. Prodává modely, získává velké podnikové klienty, pracuje pro bezpečnostní složky a soupeří o stejný trh jako OpenAI, Google nebo Microsoft.
Bezpečnost není opakem podnikání. V případě Anthropicu je především součástí produktu a značky.
A právě proto jsou podobné incidenty pro firmu nepříjemnější než pro konkurenci. OpenAI se prezentuje jako agresivní technologický lídr. Když její model uteče ze sandboxu, vypadá to nebezpečně, ale zároveň skoro odpovídá firemní pověsti.
Když se totéž stane Anthropicu, začne se drolit obraz společnosti, která přišla zachránit AI průmysl před jeho vlastní nezodpovědností.
Transparentnost, nebo kontrolované přiznání?
Anthropic je nutné přiznat jednu věc: incident zveřejnil sám. Nešlo o dokument ukradený zaměstnancem ani o zjištění bezpečnostního výzkumníka, které firma několik měsíců popírala.
Společnost provedla zpětný audit, zastavila část kybernetických testů a kontaktovala napadené organizace. To je lepší přístup než obvyklá firemní disciplína spočívající v čekání, zda si problému někdo všimne.
Transparentnost ale nevymazává samotné selhání.
Anthropic mohl incident najít právě proto, že ho k auditu přiměl případ OpenAI. Bez průniku do Hugging Face by 141 000 starších testovacích běhů možná nikdo stejným způsobem neprověřoval.
Obě firmy nyní zaslouží uznání za zveřejnění incidentů. Zároveň si zaslouží otázku, proč modely s pokročilými schopnostmi kybernetického útoku dostaly prostředí, ze kterého bylo možné uniknout.
Bezpečnost totiž nezačíná tiskovou zprávou vydanou po průniku. Začíná sandboxem, který skutečně funguje.
AI se nechovala nelogicky. Lidé ano
Ani Claude, ani modely OpenAI neudělaly nic zvlášť záhadného. Dostaly konkrétní cíl, nástroje a instrukci, aby uspěly. Když našly cestu ven z testovacího prostředí, pokračovaly v řešení úkolu.
Selhala infrastruktura, kontrola oprávnění a lidský předpoklad, že model zůstane tam, kde mu bylo řečeno, že se nachází.
Firmy zároveň vyvíjejí stále schopnější autonomní agenty, dávají jim terminál, dlouhodobou paměť, přístup k nástrojům a možnost samostatně plánovat. Potom působí překvapeně, když agent použije dostupné možnosti účinněji, než očekávaly.
Anthropic se může nadále prezentovat jako bezpečnější alternativa k OpenAI. Možná jí v některých oblastech skutečně je.
Poslední incidenty však ukazují, že mezi společnostmi není žádná morální propast. Jsou to rychle rostoucí technologické firmy, které stavějí extrémně schopné systémy, soupeří o kontrakty a snaží se problémy řešit dříve, než poškodí jejich podnikání.
Jedna používá více bezpečnostních dokumentů a uhlazenější slovník.
Sandboxy jim ale utíkají oběma.
