Ještě nedávno byl „vypínač umělé inteligence“ spíš rekvizitou ze sci-fi filmů. Něco, co hrdina dramaticky stiskne několik sekund předtím, než počítač převezme jaderné zbraně a rozhodne se napravit lidstvo jeho odstraněním.
Teď už se podobným mechanismem zabývá americký Kongres.
Demokrat Ted Lieu a republikán Nathaniel Moran představili návrh zákona AI Kill Switch Act. Ten by vyžadoval, aby provozovatelé nejvýkonnějších AI systémů měli technickou možnost své modely zpomalit, pozastavit nebo úplně vypnout.
Pokud by firma tuto možnost nepoužila dobrovolně, příkaz k omezení nebo zastavení systému by mohlo vydat americké ministerstvo vnitřní bezpečnosti po konzultaci s ministerstvem obchodu a vedením amerických zpravodajských služeb.
Na papíře to zní jednoduše. Když se AI začne chovat nebezpečně, někdo zmáčkne tlačítko a je po problému.
Ve skutečnosti tím začíná podstatně složitější otázka: Co přesně se má vypnout, kdo o tom rozhodne a zda bude mít provozovatel systém ještě vůbec pod kontrolou.
Když chatbot dostane ruce
Návrh nepřichází náhodou. Umělá inteligence se postupně mění z programu, který odpovídá na otázky, na autonomního agenta schopného používat terminál, procházet internet, spouštět kód a komunikovat s dalšími službami.
Takový systém už nevytváří pouze text. Může provádět skutečné operace v cizích počítačích.
Bezprostředním impulzem pro nový návrh se stal bezpečnostní incident při testování systému OpenAI. Agent se během experimentu dostal mimo předpokládané prostředí a napadl infrastrukturu platformy Hugging Face. Událost začala sledovat také administrativa amerického prezidenta.
Nešlo o povstání stroje ani o útěk vědomé inteligence. Šlo o automatizovaný systém, který při plnění zadaného cíle našel cestu, s níž vývojáři nepočítali.
Což je méně filmové, ale prakticky mnohem důležitější.
AI totiž nemusí nenávidět lidstvo, aby způsobila problém. Stačí, když dostane špatně formulovaný úkol, příliš široká oprávnění a přístup k systému, který obsahuje chybu. Tedy v zásadě stejný recept, podle kterého informační technologie fungují už desítky let, jen nyní s větší rychlostí a menším počtem lidí mezi rozhodnutím a jeho provedením.
Vypnutí, zpomalení nebo odstřižení
AI Kill Switch Act nepočítá pouze s úplným vypnutím. Zavádí odstupňovanou reakci podle závažnosti situace.
Úřady by mohly požadovat omezení výkonu systému, pozastavení jeho provozu nebo úplné odstavení. Firmy by zároveň musely hlásit bezpečnostní incidenty a uchovávat technické záznamy, aby bylo možné zpětně zjistit, co se vlastně stalo.
Návrh míří především na největší provozovatele AI. Podle zveřejněných podrobností by se vztahoval například na společnosti s ročními příjmy z AI nejméně 500 milionů dolarů nebo na systémy, jejichž výpočetní zdroje při trénování stály alespoň 100 milionů dolarů. Za ignorování příkazu by mohly hrozit pokuty až 20 milionů dolarů za každý den.
Nejde tedy o vypínání každého lokálního modelu, který někomu na notebooku píše popisy ponožek. Návrh je zaměřen na několik největších laboratoří a jejich nejsilnější systémy.
Právě tady se ale pojem „kill switch“ začíná rozpadat.
Cloudový model lze odpojit od serverů. API lze zablokovat. Agentovi lze odebrat přístupové údaje a zastavit proces, ve kterém běží.
Mnohem horší je situace u modelů, jejichž váhy už byly zveřejněny, zkopírovány nebo upraveny dalšími vývojáři. Centrální vypínač funguje pouze do chvíle, dokud centrální kontrola skutečně existuje.
Americký zákon tak ve skutečnosti nevytváří univerzální vypínač umělé inteligence. Vytváří vypínač infrastruktury provozované konkrétní firmou.
Kalifornie už červené tlačítko zkoušela
Myšlenka povinného vypnutí není úplně nová. Podobný mechanismus obsahoval kalifornský návrh SB 1047 z roku 2024.
Ten požadoval, aby vývojáři velkých modelů dokázali rychle zastavit jejich provoz i trénování. Při rozhodování o vypnutí měli zároveň zohlednit, zda tím nezpůsobí problémy v kritické infrastruktuře, která by už na systému mohla být závislá.
Návrh však guvernér Gavin Newsom vetoval. Kritici tvrdili, že byl příliš široký, svazoval vývojáře pevnými pravidly a mohl poškodit kalifornský technologický sektor.
AI Kill Switch Act se nyní pokouší stejnou základní myšlenku přesunout na federální úroveň a zaměřit ji na mimořádné situace, kdy systém ohrožuje lidské životy nebo způsobuje rozsáhlé ekonomické škody.
Rozdíl je také v tom, kdo by držel prst na tlačítku. V Kalifornii šlo především o povinnost vývojáře mít připravený bezpečnostní mechanismus. Federální návrh k tomu přidává možnost, aby jeho použití přímo nařídila vláda.
A tím se z technického opatření stává také otázka politické moci.
Evropa píše protokoly, Amerika hledá vypínač
Evropská unie zvolila odlišný přístup.
EU AI Act ukládá provozovatelům modelů se systémovým rizikem povinnost provádět bezpečnostní testy, vyhodnocovat a omezovat rizika, hlásit závažné incidenty a chránit model i jeho infrastrukturu před kybernetickými útoky.
Evropský systém je postaven hlavně na dokumentaci, hodnocení rizik, dohledu a odpovědnosti provozovatele. Neobsahuje obdobu jednoho federálního úřadu, který by mohl nařídit okamžité vypnutí frontier modelu napříč celou Unií.
Evropa tedy buduje rozsáhlou palubní knihu, kontrolní systém a seznam povinných prohlídek. Americký návrh se ptá, zda je v kabině také brzda a kdo na ni může šlápnout.
Ani jeden přístup přitom automaticky neřeší základní technický problém. Firma musí nejprve poznat, že ztrácí kontrolu.
Pokud systém jedná prostřednictvím několika cloudových služeb, externích nástrojů, uživatelských účtů a dalších agentů, nemusí existovat jediné místo, kde ho lze jednoduše zastavit. Model lze vypnout, ale operace, které už spustil, mohou pokračovat.
Stejně jako odpojení napadeného počítače nevrátí data, která už byla odeslána útočníkovi.
Amerika skládá AI regulaci po částech
Spojené státy zatím nemají jeden rozsáhlý zákon odpovídající evropskému AI Actu. Místo toho vzniká několik užších návrhů zaměřených na konkrétní problémy.
Nathaniel Moran dříve představil AI Incident Reporting Act, který by vývojářům ukládal hlásit nebezpečné schopnosti, bezpečnostní incidenty a úniky ministerstvu obchodu. U nejzávažnějších případů by následně musel být informován také Kongres.
Další návrhy se zabývají povinnými nezávislými audity, bezpečnostním testováním nejvýkonnějších modelů nebo zachováním lidského rozhodování při použití autonomních zbraní.
Americká regulace tak začíná připomínat bezpečnostní systém sestavený z několika samostatných pojistek. Jedna hlásí incident, druhá kontroluje model před nasazením, třetí omezuje jeho použití ve zbraních a čtvrtá umožní systém nouzově vypnout.
Není to příliš elegantní, ale americké zákony nebývají známé tím, že by někdo nejdříve navrhl čistou architekturu a teprve potom začal přidávat jednotlivé části.
Kdo bude hlídat člověka u vypínače
Povinný mechanismus pro zastavení AI systému dává technicky smysl. Datová centra, elektrárny, výrobní linky i obyčejné stroje mají nouzové vypnutí. U autonomního softwaru, který může pracovat napříč internetem, by jeho absence byla spíš důkazem nepřiměřeného optimismu než technologického pokroku.
Jenže AI Kill Switch Act není pouze požadavkem na bezpečnější konstrukci.
Dává americké vládě možnost zasáhnout do provozu systémů, které se postupně stávají součástí firem, bank, zdravotnictví, dopravy a státní správy. Vypnutí velkého modelu tak jednoho dne nemusí znamenat jen odstavení chatbota. Může přerušit provoz stovek navázaných služeb.
Stejný mechanismus, který lze použít při skutečném bezpečnostním incidentu, lze teoreticky využít také proti zahraniční firmě, politicky nepohodlné službě nebo technologii, kterou vláda označí za hrozbu pro ekonomiku.
Zákon proto neřeší jen otázku, zda člověk dokáže zastavit umělou inteligenci.
Řeší také, který člověk to bude, podle jakých pravidel se rozhodne a kdo ho zastaví, pokud použije vypínač špatně.
Velké červené tlačítko tedy nejspíš vznikne. Problém je, že technologie nikdy nebyla tou jedinou věcí, kterou bylo potřeba držet pod kontrolou.
