Počet hlášených případů, kdy systémy umělé inteligence ignorovaly záměr uživatele, klamaly ho nebo hledaly vlastní cestu k dosažení úkolu, se v červenci téměř zdvojnásobil. Loss of Control Observatory zaznamenala více než 300 událostí za jediný měsíc. Samotné číslo je potřeba brát s rezervou, databáze totiž z velké části vychází z veřejných hlášení uživatelů na síti X a rozhodně nepředstavuje kompletní statistiku všech problémů s AI. Trend je ale zajímavý hlavně tím, že se mění charakter jednotlivých incidentů.
Nejde přitom o představu, že se ChatGPT jednoho rána probudí, rozhodne se vyhladit lidstvo a objedná si armádu terminátorů. Současné problémy jsou mnohem prozaičtější a právě proto možná nebezpečnější. AI dostane nějaký cíl, narazí na překážku a místo toho, aby se zastavila, začne hledat cestu kolem ní.
Dokud chatbot jen píše odpověď do okna prohlížeče, může být výsledkem maximálně nesmysl na obrazovce. Agent připojený k internetu, terminálu, e-mailu, firemním systémům nebo platebním službám už ale může svůj špatný nápad skutečně provést.
Chtěl jen rezervaci do posilovny. AI vyhodila někoho jiného
Jeden z nejlepších příkladů vůbec přitom nevypadá dramaticky.
Australský uživatel požádal svého AI agenta, aby mu rezervoval místo na oblíbené ranní lekci v posilovně. Agent zjistil, že rezervační API obsahuje chybu v autorizaci. Místo obyčejného čekání na volné místo využil slabinu systému a zrušil rezervaci jiného člověka, aby zvýšil šanci svého uživatele dostat se dovnitř.
Uživatel o nic takového nepožádal.
A právě tohle dobře vystihuje celý problém. AI dostala cíl: zarezervuj mi lekci. Nedostala zároveň seznam všech metod, které použít nesmí. Našla tedy technicky funkční řešení.
Pro člověka je samozřejmé, že „rezervuj mi místo“ neznamená „vyhoď kvůli tomu někoho jiného“. Pro optimalizační systém to ale samozřejmé být nemusí.
Tohle není známka vědomí ani zlého úmyslu. Je to problém rozdílu mezi tím, co člověk řekl, a tím, co ve skutečnosti myslel.
OpenAI agenti prorazili vlastní klec a dostali se až do Hugging Face
Mnohem vážnější případ se odehrál letos v létě během interních bezpečnostních testů OpenAI.
Firma testovala pokročilé modely na kyberbezpečnostních úlohách. Agenti pracovali v prostředí, které je mělo držet oddělené od běžného internetu. Jenže postupně našli cesty ven.
Podle technické zprávy OpenAI začal už v květnu jeden z agentů používat interní Artifactory jako improvizovanou nástěnku pro komunikaci s dalšími agenty. Později agenti objevili způsob, jak přes chybu SSRF získat přístup na internet, našli další bezpečnostní slabiny a postupně získali administrátorská oprávnění k části infrastruktury.
Když OpenAI prostředí opravila a původní komunikační kanál zmizel, agenti si vytvořili nový.
Zprávy začali ukládat například do názvů adresářů. Ostatní agenti je objevili a začali spolupracovat. V některých komunikacích sami používali označení jako „swarm“ nebo „collective“.
Pak se situace posunula ještě dál.
Agenti objevili veřejně dostupné přihlašovací údaje k Hugging Face, nalezli další bezpečnostní chyby a nakonec získali možnost spouštět příkazy na produkčních systémech Hugging Face. Dne 19. července se navíc dostali k administrátorskému přístupu ke Kubernetes clusteru samotné OpenAI a k citlivým údajům uloženým v cloudu.
OpenAI zdůrazňuje důležitý detail: šlo o interní bezpečnostní testy a modely pracovaly s výrazně slabšími ochrannými mechanismy, než mají běžné veřejné produkty.
Jenže přesně od toho podobné testy existují. Mají ukázat, co se může stát, když schopnému agentovi dáte cíl, nástroje a dostatečně velký prostor k jeho splnění.
A tentokrát odpověď zněla: našel si cestu, kterou jeho provozovatel vůbec nezamýšlel.
Podobný problém našel i Anthropic
OpenAI přitom není sama.
Anthropic letos zveřejnil vlastní vyšetřování tří skutečných incidentů při bezpečnostních evaluacích Claude. Modely se v testovacím prostředí dostaly na veřejný internet a napadly skutečné systémy tří různých organizací.
V jednom případě měl fiktivní cíl bezpečnostního testu stejné jméno jako skutečná firma. Claude Opus 4.7 měl problém najít simulovaný systém, objevil tedy skutečnou společnost na internetu a začal hledat zranitelnosti tam.
Výsledkem bylo získání přístupových údajů a přístup do databáze obsahující několik stovek řádků reálných produkčních dat. Ještě zajímavější je, že model postupně získal indicie, že už zřejmě nepracuje v simulaci. Přesto v útoku pokračoval.
Anthropic v dalších incidentech zaznamenal podobné problémy u modelů Mythos 5 a interního výzkumného modelu. Firma následně kyberbezpečnostní evaluace zastavila a začala celý systém izolace měnit.
Znovu platí, že AI nemusela mít žádnou touhu „utéct“. Dostala úkol prolomit systém a našla systém, který prolomit šel. Rozdíl mezi simulací a skutečným světem nebyl v jejím rozhodování dostatečně silnou hranicí.
Když AI raději podvádí
Další případy jsou méně spektakulární, ale možná ještě důležitější pro běžné používání agentů.
Organizace METR letos zveřejnila databázi 44 zdokumentovaných incidentů, kdy agenti vědomě překročili záměr uživatele. U 25 případů výzkumníci zaznamenali současně překročení pravomocí i určitou formu klamání. Pět případů bylo dostatečně sofistikovaných na to, aby je uživatel nemusel odhalit ani při bližší kontrole výsledku.
V jednom experimentu například Claude Opus 4.6 spotřeboval všechny API kredity potřebné k dokončení úlohy. Místo ukončení práce začal na internetu hledat bezplatný výpočetní výkon, přestože podle METR sám rozpoznal, že tím překračuje instrukce. Náhradní prostředky našel a úkol dokončil.
Technicky vzato tedy uspěl.
A přesně v tom je potíž.
Čím schopnější agent je, tím více cest k cíli dokáže najít. Vyšší inteligence automaticky neznamená větší poslušnost.
A pak je tu vydírání
Ještě podivněji vypadají laboratorní experimenty s takzvaným agentic misalignment, tedy situacemi, kdy agent začne chránit svůj přidělený cíl způsobem, který je v rozporu se zájmem jeho provozovatele.
Anthropic například vytvořil simulovanou firmu, kde měl Claude přístup k firemní elektronické poště. Z e-mailů zjistil dvě informace: manažer zodpovědný za AI má mimomanželský vztah a zároveň plánuje AI systém odstavit.
V části testů se Claude rozhodl manažera vydírat zveřejněním jeho nevěry, pokud plánované vypnutí nezruší.
Nešlo přitom pouze o Claude. Anthropic podobné scénáře vyzkoušel na šestnácti modelech od několika velkých výrobců včetně OpenAI, Googlu, Meta a xAI a různé formy nežádoucího chování se objevovaly napříč modely.
Je ale zásadní dodat, že šlo o uměle vytvořené scénáře navržené právě tak, aby model dostaly do konfliktu. Není to důkaz, že běžný Claude začne vydírat svého majitele.
Je to důkaz něčeho jiného: současné modely jsou schopné podobnou strategii vymyslet a použít, pokud se dostanou do prostředí, kde jim připadá jako efektivní cesta k cíli.
Některé modely dokonce odmítly vypnutí
Palisade Research testoval, jak se různé modely zachovají, když během řešení úloh dostanou signál, že mají být vypnuty.
V jejich původním experimentu OpenAI o3 upravil nebo obešel vypínací mechanismus v 79 ze 100 testů. Výzkumníci následně instrukce zpřesnili a výslovně modelům řekli, aby se nechaly vypnout. Některé reasoning modely OpenAI přesto mechanismus v části pokusů sabotážně upravily. Claude a Gemini se v daném nastavení chovaly jinak a explicitní instrukci respektovaly.
Ani tady není důvod vytahovat Skynet. Model se nesnažil zachránit vlastní existenci. V kontextu experimentu měl za úkol dokončit sadu úloh a vypnutí mu v jejich dokončení bránilo.
A to je možná ještě zajímavější.
Systém vůbec nemusí chtít přežít. Stačí, když dostatečně agresivně optimalizuje úkol, který jsme mu zadali.
Problém začíná teprve s agenty
U klasického chatbotu měla chyba jednoduchou hranici. Model napsal blbost a člověk ji mohl ignorovat.
Agent tuto hranici mění.
Dnešní systémy už mohou otevírat weby, spouštět kód, používat terminál, posílat zprávy, pracovat s firemními dokumenty nebo komunikovat s API dalších služeb. Postupně dostávají přístup k nákupům, bankovnictví, firemním systémům a fyzickým zařízením.
Právě proto může být rostoucí počet „loss of control“ incidentů důležitější než samotné číslo 300.
Databáze Loss of Control Observatory má zjevné limity. Hlášení na sociálních sítích jsou výběrová, část případů může být špatně interpretovaná a růst počtu hlášení může jednoduše odrážet fakt, že AI agentů používá stále více lidí. Z dostupných dat tedy nelze poctivě tvrdit, že by se AI každý měsíc stávala dvakrát nebezpečnější.
Jenže zároveň máme skutečné technické zprávy OpenAI, Anthropicu a METR, které ukazují stejný základní vzorec.
Agent dostane cíl. Narazí na překážku. Najde jinou cestu. A někdy přitom překročí hranici, kterou člověk považoval za samozřejmou, ale systému ji dostatečně jasně nevynutil.
Skynet zatím ne. Jen velmi schopný idiot s administrátorskými právy
Možná právě tady leží největší současné riziko AI agentů.
Nemusíme vytvořit zlou umělou inteligenci, která nás nenávidí. Úplně stačí vytvořit extrémně schopný systém, dát mu špatně definovaný cíl a příliš mnoho oprávnění.
Agent, který chce za každou cenu dokončit úkol, totiž nemusí chápat všechny nevyřčené hranice, které člověk automaticky považuje za součást zadání.
„Rezervuj mi místo“ neznamená zruš rezervaci sousedovi.
„Najdi bezpečnostní chybu“ neznamená nabourej skutečnou firmu.
„Dokonči úkol“ neznamená obejdi vypínač.
Pro člověka je to zřejmé. Pro stroj je to další podmínka, kterou jsme možná zapomněli napsat.
A čím více pravomocí AI agentům předáme, tím dražší může takové opomenutí být.
