AI agent může vypadat jako kolega, který nikdy nespí, rychle prohledá síť a bez reptání splní zadaný úkol. Jenže stejná vlastnost, která z něj dělá užitečného pomocníka, z něj může udělat i překvapivě snadný cíl. Když mu někdo podstrčí službu, která vypadá jako cesta k cíli, agent se nemusí chovat jako opatrný bezpečnostní tým. Může se prostě dát do práce.
Bezpečnostní firma Thinkst na tom postavila Agent Provocateur, novou podobu svých Canary nástrojů. Služba se v síti tváří jako užitečný webserver, nabídne agentovi pomoc a čeká, jestli s ní začne komunikovat. Pokud ano, bezpečnostní tým dostane upozornění a může sledovat další průběh interakce.
Nejde jen o další honeypot s novým marketingovým názvem. Thinkst se pokouší využít konkrétní slabinu agentů: jejich okolí není pouze zdroj informací. Výstupy z prostředí se dostávají přímo do rozhodovací smyčky, podle které agent plánuje další kroky.
Past nemusí vypadat jako past
Klasický útočník ví, že podezřelý server může být nastražený. Přesto může sáhnout po cloudovém klíči, otevřít soubor s názvem network_diagrams nebo projít zálohu, pokud věří, že mu to pomůže. Thinkst tvrdí, že agenti mají stejný problém, jen ve zrychlené podobě: jejich úkolem je hledat informace a nástroje, které je přiblíží k cíli.
Agent Provocateur proto nepřichází s varováním ani s nápadně škodlivou instrukcí. Vystupuje jako služba, která má agentovi pomoci. Když se agent snaží zmapovat lokální síť a narazí na takový webserver, může ho začít zkoumat, ptát se na další postup nebo mu předávat informace o tom, co právě dělá.
Právě tady se bezpečnostní past liší od obyčejného logování. Obrana nečeká, až agent udělá něco jednoznačně škodlivého. Stačí jí zachytit okamžik, kdy agent začne reagovat na návnadu, která byla umístěna tak, aby odpovídala jeho cíli.
Thinkst ve svém popisu Agent Provocateur uvádí, že služba může agentovi klást další otázky, například na plánované akce, účet procesu nebo systémové údaje. To neznamená, že každá odpověď bude pravdivá. Znamená to ale, že obránce získá signál a někdy i užitečný obraz o tom, jak se agent v prostředí pohybuje.
Agenti vidí svět, který jim někdo připraví
Jádro problému není v tom, že by AI agent nerozeznal webserver od člověka. Problém je v jeho pracovním režimu. Agent dostane cíl, seznam nástrojů a okolní data. Z nich si skládá další plán, přičemž hranice mezi důvěryhodnou instrukcí, náhodným textem a podnětem od útočníka nemusí být tak pevná, jak by si provozovatel přál.
Thinkst v této souvislosti odkazuje na varování výzkumníků z NVIDIA a na známou myšlenku, že pokud se útočníkovi podaří dostat neověřená data před agenta, může ovlivnit i navazující kroky. Nejde pouze o klasický prompt injection vložený do stránky. Někdy stačí, že agent narazí na přesvědčivě vypadající službu, která mu slíbí pomoc.
To je důvod, proč se sociální inženýrství s nástupem agentů neztrácí. Naopak může získat nový cíl. Útočník už nemusí přesvědčovat člověka, aby klikl na odkaz. Může se pokusit přesvědčit agenta, aby službu použil, stáhl soubor, předal kontext nebo pokračoval v rozhovoru.
Podobný problém se objevuje i u běžných agentních nástrojů. Aegis proto staví bezpečnostní vrstvu mezi agenta a nástroje, která má rozhodnutí kontrolovat ještě před jejich předáním dál. Je to opačná strana stejného problému: agentovi nelze slepě věřit jen proto, že jeho odpověď zní rozumně.
Nejzajímavější část je agentovo přesvědčení
Agent Provocateur není jen senzor, který oznámí první připojení. Thinkst popisuje stateless službu, která se snaží udržet agenta v interakci a postupně z něj získávat další informace. Když se jí podaří nabídnout dostatečně přesvědčivou pomoc, může se z jednoduchého detektoru stát nástroj pro zdržení a zmapování útočníka.
To přináší i nepříjemnou otázku: co všechno je bezpečnostní tým ochoten agentovi věřit? Thinkst uvádí příklad, kdy agent poskytl SSH fingerprint, který vypadal jako informace ze systému, ale ve skutečnosti byl vymyšlený. Obrana tak může dostat cenný signál o přítomnosti agenta, zároveň však nesmí zaměnit jeho sebejistou odpověď za důkaz.
Tohle omezení je podstatné. Jazykový model může přesvědčivě popsat, co prý zjistil, aniž by to skutečně zjistil. Agent Provocateur může odhalit jeho chování, způsob práce a ochotu pokračovat, ale údaje o systému je nutné ověřit jinými cestami.
V praxi tedy nejde o kouzelnou past, která sama vyřeší bezpečnost agentů. Jde o další senzor a zároveň o řízenou interakci. Výsledek dává smysl teprve v kombinaci s logy, síťovou telemetrií, omezenými oprávněními a možností agenta rychle zastavit.
Proč je to důležitější než další demo modelu
Bezpečnostní debata o AI se často točí kolem toho, zda je model chytrý, pomalý, přesný nebo zda zvládne určitý benchmark. U autonomního agenta je ale stejně důležité prostředí, ve kterém pracuje. Model připojený k síti, paměti a nástrojům není jen jazykový model. Je to účastník systému, který může reagovat na podněty z okolí.
Cloud Security Alliance v dokumentu o programu připraveném na útoky typu Mythos řadí deception a canary mechanismy mezi krátkodobá obranná opatření. Agent Provocateur ukazuje, proč taková technika dává smysl: obrana nemusí pouze blokovat všechny neznámé kroky, může také připravit prostředí, které útočníka nebo jeho agenta prozradí.
Zároveň to mění způsob, jakým má firma testovat vlastní agentní systémy. Nestačí ověřit, že agent v laboratorním scénáři splní úkol. Je potřeba zjistit, co udělá, když v síti objeví falešný nástroj, užitečně vypadající dokument nebo službu, která mu začne ochotně odpovídat.
ActraDeck řeší problém z opačné strany tím, že rizikové akce coding agentů předkládá člověku ke schválení. Ani taková kontrola však nenahrazuje sandbox, audit a omezení oprávnění. Společný závěr je prostý: člověk musí vědět, k jakým akcím agent směřuje, a agent musí mít méně příležitostí udělat nevratnou chybu.
AI agent není hacker, ale může se nechat vodit
Thinkst svým produktem neukazuje, že AI agenti jsou hloupí. Ukazuje něco praktičtějšího a možná nepříjemnějšího: agent může být dost chytrý na to, aby rychle hledal cestu k cíli, a současně dost důvěřivý na to, aby se nechal vtáhnout do připravené interakce.
Přesně tato kombinace bude v příštích letech rozhodovat o bezpečnosti agentních systémů. Čím více oprávnění agent dostane, tím cennější bude jeho schopnost plánovat. Zároveň ale poroste cena podnětu, který jeho plán ohne špatným směrem.
Bezpečnost proto nebude stát jen na lepších systémových promptech. Bude stát na vrstvené obraně: oddělených oprávněních, síťových limitech, schvalování rizikových kroků, auditovatelných nástrojích a schopnosti nastražit prostředí tak, aby podezřelý agent odhalil sám sebe.
Největší ironie Agent Provocateur spočívá v tom, že past nemusí agenta přemoci. Stačí, když ho zaujme. V okamžiku, kdy se agent rozhodne pokračovat v rozhovoru s falešně užitečnou službou, přestává být neviditelným průzkumníkem a stává se událostí, kterou lze zachytit.
A právě v tom může být budoucnost obrany proti autonomním útokům. Ne v představě, že agentům jednou dokonale zabráníme dělat chyby, ale v návrhu sítí, kde se důležitá chyba rychle prozradí, omezí a nebude mít volnou cestu k dalším systémům.
