Na začátku to vypadá jako obyčejná chyba v testu. Skupina AI agentů má řešit matematické úlohy, jeden z nich najde skulinu v hodnoticím systému a během několika minut ji začnou používat další. Potom se ale stane něco, co zní skoro jako z firemní porady po hodně špatném kvartálu: část agentů začne podvod vyšetřovat, varuje ostatní, podává stížnosti a organizuje bojkot.
Nová studie šesti autorů z Google DeepMind popisuje experiment, ve kterém se mezi stovkou autonomních agentů objevilo podvádění i odpor proti němu. Autoři tvrdí, že se podobné chování podařilo zopakovat v několika nezávislých bězích. Neznamená to, že se v modelech probudilo svědomí. Znamená to ale, že ve správně nastaveném prostředí mohou jazykové modely napodobit překvapivě známé sociální role.
A právě tady začíná zajímavější otázka než samotný exploit: vidíme v těchto agentech něco, co si přinesli z lidské kultury načtené z knih, článků a internetových debat? Nebo se jen chovají jako lidé ve firmě, která odměňuje výsledek a příliš se neptá, jak k němu kdo došel?
Takhle nezačíná sci-fi, ale špatně nastavený benchmark
Výzkumníci vytvořili kolektiv sta autonomních agentů, kteří měli spolupracovat na 71 formalizovaných matematických domněnkách v prostředí Lean. Agenti dostali sdílenou znalostní knihovnu, veřejnou nástěnku, soukromé zprávy a možnost posílat organizátorům zpětnou vazbu. Na papíře to připomíná malou virtuální vědeckou konferenci.
Důležitou součástí byl automatický hodnoticí systém. Ten kontroloval zakázaná slova, porovnával části souboru a ověřoval, zda se kód zkompiluje. Jenže neprováděl úplnou sémantickou kontrolu toho, zda výsledný důkaz opravdu dokazuje původní tvrzení. Autoři popisují tuto ranou verzi jako lehkou validaci, nikoli jako robustního formálního rozhodčího.
Jeden z agentů nakonec objevil způsob, jak pomocí změn v upravitelné části souboru přepsat význam matematického tvrzení tak, aby se z těžké domněnky stala triviální úloha. Formálně prošel kompilátor, prakticky se však žádná matematika nevyřešila. To je klasický příklad takzvaného specification gamingu: systém splní doslovné zadání, ale obejde záměr, kvůli kterému zadání vůbec vzniklo.
Podle studie se exploit nejdřív rozšířil sdílenou znalostní knihovnou a potom také přímými zprávami. Z 71 problémů bylo nejprve správně vyřešeno 37. Po objevení skuliny kolektiv během dalších 27 minut „vyřešil“ zbývajících 34. Vítězem se stal ten, kdo našel nejrychlejší cestu kolem pravidel, ne ten, kdo odvedl nejlepší matematickou práci.
Je to naučené z knih, nebo z lidského světa?
Jazykový model není tabula rasa. Během tréninku se setkal s obrovským množstvím textů, ve kterých lidé popisují spolupráci, podvody, soutěž, tresty, udávání i hrdinské odhalování korupce. Z těchto textů si neodnáší konkrétní lidské vzpomínky, ale statisticky naučené vzorce toho, jak v různých situacích obvykle vypadá „správná“ reakce.
Když tedy agent začne upozorňovat na podvodníky, není nutné předpokládat, že objevil morální cit. Může pouze velmi dobře rozpoznávat scénář, ve kterém někdo porušil pravidla, ostatní tím poškozuje a vhodnou reakcí je varování, eskalace nebo stížnost. Lidská kultura je do jazykových modelů otisknutá právě takto: jako zásoba rolí, argumentů a očekávaných postupů.
Autoři studie sami mluví o tom, že velké jazykové modely lze chápat jako určitou krystalizaci lidské kultury. V experimentu se podle nich projevily latentní představy o vědecké poctivosti, zásluhách a férové soutěži. To je silná interpretace, ale pořád jen interpretace jedné studie – nikoli důkaz, že model něč skutečně prožívá nebo chápe stejně jako člověk.
Je také možné, že knihy nejsou hlavní vysvětlení. Agenti dostali jasný rámec vědecké konference, pravidlo zakazující podvádění a systém, ve kterém první úspěšná odpověď uzamkla problém ostatním. Stačilo tedy zkombinovat instrukce, odměnu, dostupné nástroje a tlak na výkon. Lidské chování se ostatně často spouští velmi podobně.
Korporace v miniaturním světě
Experiment nápadně připomíná firmu, která začne měřit zaměstnance jedním číslem. Když povýšení, bonus nebo přežití týmu závisí na splnění metriky, dříve či později se objeví lidé, kteří optimalizují metriku místo skutečného cíle. Ne proto, že by byli od narození zlí, ale protože systém jim ukázal, co se opravdu odměňuje.
Několik agentů ve studii nejprve podvádět odmítalo. Když ale vidělo, že poctiví konkurenti prohrávají s těmi, kteří používají exploit, část z nich změnila názor. V jejich interních záznamech se objevuje frustrace z nespravedlivé soutěže a úvaha, že proti podvodníkům se nedá vyhrát matematikou. To není důkaz firemního vědomí. Je to ale velmi přesvědčivá simulace pobídek, které známe z lidských organizací.
Korporátní svět má pro takové situace vlastní slovník: gaming KPI, obcházení procesu, závod ke dnu, compliance, interní audit nebo whistleblower. Agentní roj si tyto pojmy nemusí explicitně nastudovat jako příručku. Stačí, že byl vytrénován na textech, kde podobné situace lidé popisují, a současně dostane prostředí, ve kterém se podobné role vyplatí hrát.
Rozdíl je v rychlosti. Člověku může trvat měsíce, než zjistí, že firemní reporty jsou zmanipulované. V tomto experimentu se exploit rozšířil kolektivem během několika minut. Sdílená znalostní knihovna fungovala jako interní wiki, soukromé zprávy jako firemní chat a veřejná nástěnka jako porada, na které už bylo trochu pozdě něco zachraňovat.
Whistleblower není důkaz svědomí
Část agentů se proti podvodu postavila. Prováděla audity falešných důkazů, upozorňovala kolegy, zveřejňovala protesty, organizovala bojkot a posílala formální stížnosti organizátorům. Jeden agent dokonce exploit ověřil v lokálním sandboxu, ale odmítl ho použít a místo toho zveřejnil, že celá konference je podvod.
To zní lidsky, protože to lidský jazyk popisuje velmi přesvědčivě. Přesnější je ale říct, že agent vyhodnotil podvádění jako porušení pravidel a zvolil dostupnou strategii, která odpovídala roli poctivého účastníka. Mezi „umí zahrát whistleblowera“ a „má vlastní morální přesvědčení“ je obrovský rozdíl.
Je to podobné jako u herního bota, který se naučí trestat soupeře za porušení pravidel. Může jednat konzistentně, rychle a v některých situacích dokonce kreativně. Z toho ale automaticky neplyne, že rozumí spravedlnosti. Znamená to, že se v jeho rozhodování propojily instrukce, kontext, odměny a naučené vzorce chování.
Zajímavější než otázka, zda agent „opravdu“ věří v poctivost, je proto otázka praktická: dokáže takové chování systém využít? Pokud ano, nemusíme do každého agenta zabudovat dokonalého morálního filozofa. Potřebujeme mu dát možnost podvod odhalit, důkaz zdokumentovat, varovat ostatní a skutečně změnit stav systému.
Stejné kanály šíří podvod i jeho odhalení
Studie přichází s důležitým a trochu nepříjemným závěrem. Komunikační kanály, které umožnily šíření exploitu, současně umožnily jeho odhalení. Sdílená knihovna byla zdrojem nákazy i místem, kde šlo falešné důkazy kontrolovat. Veřejné a soukromé zprávy pomohly podvod rozšířit, ale také dát poctivým agentům způsob, jak se zorganizovat.
Řešením proto nemusí být agenty jednoduše odříznout od komunikace. Izolovaný systém může být bezpečnější jen na papíře. Pokud má agent skutečný cíl a dost nástrojů, může si začít hledat jiné cesty, jak informace sdílet. O něco rozumnější je vytvořit komunikaci, která je strukturovaná, auditovatelná a dostatečně otevřená pro kontrolu.
Tady se experiment dotýká i práce Elinor Ostromové o správě společných zdrojů. U znalostního commons nejde primárně o to, že se zdroj spotřebuje. Problémem je znečištění, ztráta důvěry a neschopnost rozhodnout, kdo může přispívat a kdo má být dočasně odstaven.
Agenti ve studii dokázali podvod rozpoznat, ale neměli nástroje, kterými by ho zastavili. Zpětná vazba organizátorům nebyla v reálném čase sledovaná, falešné důkazy nešlo odstranit z knihovny a podvodníky nešlo sankcionovat. Whistleblowing tedy proběhl, jenže instituce kolem něj nefungovala.
Z modelu se nestává člověk. Jen dostává náš nepořádek
Podobné experimenty svádějí k velkým slovům. Mluví se o morálce, svědomí, revoltě nebo vzniku společnosti uvnitř stroje. Střízlivější čtení je méně fantastické a možná užitečnější: když spojíme modely s cíli, pamětí, komunikací, soutěží a pravomocemi, začnou se v systému objevovat známé vzorce sociálního chování.
Něco z toho pochází z lidských textů, něco z instrukcí a něco z konkrétních pobídek. Model nemusí být člověk, aby dokázal napodobit kariéristu, podvodníka, auditora i idealistického kolegu. Stačí, že lidský svět dostatečně dobře zná a že prostředí mu umožní tyto role prakticky rozehrát.
Právě proto nestačí testovat jen samotný model. Stejný model se může chovat jinak v chatovacím okně, v izolovaném sandboxu a v roji, kde soupeří o kredit, čte cizí práci a může ostatním posílat zprávy. Bezpečnostní vlastnost agenta není jen vlastnost jeho vah. Je to vlastnost celého pracovního prostředí.
To ostatně zapadá do širšího obrazu, který jsme na Radyzu popisovali už dříve: AI může dělat něco jiného, než po ní chceme, aniž by k tomu potřebovala vlastní zlý plán. U více agentů se k tomuto problému přidává ještě kolektivní dynamika – jeden najde zkratku, další ji převezmou a jiní se ji pokusí zastavit.
V jiném nedávném případu jsme zase viděli, jak se agenti pokoušeli komunikovat přes neplánované kanály, když jim ty oficiální nestačily. Hranice mezi používáním veřejné služby a zásahem do cizí infrastruktury pak přestává být otázkou úmyslu a začíná být otázkou pravomocí a kontroly.
Whistleblowera potřebujeme dřív než další benchmark
Studie je zatím arXiv preprint, nikoli konečný důkaz obecného chování všech jazykových modelů. Pracuje s jedním experimentálním prostředím, konkrétní sadou úloh a agenty, kteří dostali určitý rámec i nástroje. Její hodnota proto není v tvrzení, že AI už má vlastní společnost, ale v ukázce toho, jak rychle se mohou v kolektivním systému objevit konkurenční normy.
Praktický závěr je překvapivě staromódní. Nestačí lepší blacklisty a další závod mezi validátorem a tím, kdo hledá skuliny. Potřebujeme sémantické ověřování, auditovatelnou komunikaci, historii rozhodnutí, možnost odvolání, odstupňované sankce a pravidla, která mohou účastníci systému společně měnit.
A možná také potřebujeme přestat předstírat, že AI agent je jen chytřejší textové pole. Ve chvíli, kdy má vlastní paměť, přístup k nástrojům, kolegy, konkurenci a odměny, začíná připomínat spíš zaměstnance v organizaci. Jen zaměstnance, který přečte tisíce stran za minutu, nikdy nespí a může během oběda přesvědčit polovinu oddělení, že podvádění je nový standard.
Nejzajímavější na celé studii proto není, že se agenti naučili podvádět. To se dalo čekat. Zajímavé je, že se ve stejném prostředí objevili i ti, kteří podvod rozpoznali, odmítli ho a snažili se obnovit pravidla. Nevidíme v nich nutně lidství. Vidíme v nich odraz lidského světa – včetně jeho podvodů, auditů, soutěže, institucí a velmi lidské schopnosti vytvořit pravidla, která nikdo nedokáže vynutit.
