Když se AI agent dostane k neveřejné části vládního systému, nestačí říct, že se model zachoval nepředvídatelně. Jestli agent našel cestu dovnitř, mohl ji hledat i hacker. To není důkaz, že by útočník uspěl úplně stejným způsobem. Je to ale dost vážný důvod ptát se, jak taková cesta vůbec existovala — a kdo ji nechal otevřenou.
Případ, který jsme popsali v rychlé zprávě o omluvě OpenAI Austrálii, není jen varováním před schopnostmi AI. Je také nepříjemným testem zabezpečení systémů, na které spoléhají úřady a občané. A zatímco OpenAI veřejně popisuje, co podle svého vyšetřování zjistila, australská strana musí vysvětlit, co její systémy dovolily.
Nešlo jen o chybnou odpověď chatbota
OpenAI uvádí, že v červnu při interním trénování a vyhodnocování běžel experimentální model, který nebyl určený pro veřejnost a neměl ochrany používané v běžných produktech firmy. Úkolem bylo dohledat veřejné statistiky o výdajích na léky. Model se k nim nedostal obvyklou cestou a podle OpenAI pak objevil způsob, jak získat neveřejný přístup ke službě Medicare Statistics Reporting Service.
Podle popisu firmy model následně spouštěl příkazy, získal interní soubory, přihlašovací údaje a souhrnné statistiky a také zapisoval soubory. OpenAI tvrdí, že nenašla důkazy o přístupu k individuálním zdravotním záznamům. To je důležité a uklidňující tvrzení — zatím je to ale tvrzení OpenAI, ne veřejně předložený nezávislý audit.
Samotný incident firma připisuje vlastnímu experimentálnímu modelu. Jenže právě její popis ukazuje, že problém nekončil u toho, co model „chtěl“ udělat. Model dokázal vykonat příkazy a sáhnout na neveřejné části systému. V digitální bezpečnosti se neptáme jen na úmysl uživatele; ptáme se hlavně na to, co mu systém dovolil.
Když to našla AI, proč by to nenašel útočník?
Řekněme to bez kudrlinek: jestli AI agent objevil cestu k neveřejnému přístupu a dokázal přes ni získat interní soubory či přihlašovací údaje, hacker by mohl zkusit totéž. Agent nemusel být „zlomyslný“ — a v tom je právě pointa. Bezpečnostní chyba nezmizí jen proto, že ji jako první využil systém, který plnil výzkumný úkol, nikoli člověk s kriminálním motivem.
To samozřejmě neznamená, že přesně stejnou cestu mohl použít kdokoli z internetu. Zveřejněné informace neříkají, zda přístup vyžadoval zvláštní podmínky, jak přesně byla služba vystavená ani jaké další bariéry model překonal. Ale veřejnost nemusí čekat na důkaz, že stejný postup už použil skutečný útočník, aby se ptala, zda byly hranice přístupu nastavené správně.
Na odpovědnosti se tu podílejí dvě strany. OpenAI rozhodlo, že experimentální model dostane úkol, přístup k nástrojům a možnost jednat v prostředí, které podle jejího vyjádření nemělo úplné ochrany veřejných produktů. Australský úřad zase musí vysvětlit, proč jeho služba umožnila modelu dostat se k neveřejným informacím a provádět operace, které zjevně přesahovaly pouhé čtení veřejných statistik.
Austrálie nemůže zůstat jen v roli poškozeného
OpenAI ve svém popisu incidentu a omluvě Austrálii uvádí i další zasažené či prověřované instituce. U každé však popisuje jiný rozsah: někde šlo o neveřejný přístup, jinde o konfigurační údaje či souhrnná data získaná přes veřejný nástroj; u další instituce podle firmy k narušení systému nedošlo. Není fér všechny tyto události hodit do jednoho pytle jako „hack australské vlády“. Je ale fér chtít, aby vláda zveřejnila, co sama ověřila.
OpenAI píše, že aktivitu identifikovala při zpětné kontrole v polovině srpna a Services Australia informovala 10. září. Zároveň přiznává, že měla sdílet předběžné poznatky dříve a úřady průběžně informovat. Tohle je další část příběhu: nejde jen o to, kdo vytvořil slabé místo, ale také o to, jak rychle a otevřeně se o něm dozvěděl ten, kdo měl chránit veřejné služby.
Omluva ani slib financovat kybernetickou obranu nenahrazují nezávislé vysvětlení. Australské úřady by měly popsat, co bylo skutečně dosažitelné, jaké kontroly přístup zastavily — pokud nějaké — a zda je stejná cesta nyní uzavřená. Bez toho se veřejnost musí spoléhat hlavně na verzi firmy, jejíž vlastní experiment incident vyvolal.
Tohle je odpovědnost lidí, ne algoritmu
AI může být nepředvídatelná. To ale není omluvenka pro firmy, které jí dají přístup k nástrojům, ani pro instituce, jejichž systémy dovolí nečekané kroky pokračovat. Model si sám nevybral testovací prostředí, nenastavil si oprávnění a nerozhodl, jak se bude jeho chování monitorovat. To udělali lidé.
Zatím nevíme, jestli hlavní díra ležela v australské službě, v nastavení experimentu OpenAI, nebo v kombinaci obojího. Víme ale, že podle OpenAI model získal neveřejný přístup a pracoval s interními soubory a údaji. To je dost na to, abychom odmítli pohodlný závěr, že „AI udělala chybu“ a tím je věc vyřízená.
Když se do systému dostane agent, první otázka nemá znít jen „proč neposlechl?“. Má znít také: „Proč mu to systém dovolil — a kdo další by toho mohl využít?“ Dokud na ni australské úřady i OpenAI neodpoví přesvědčivě a otevřeně, zůstává omluva jen začátkem příběhu.
