Kalifornie schválila dvě pravidla, která mohou změnit způsob, jakým se bude v USA mluvit o bezpečnosti umělé inteligence. Nejde o další seznam zákazů pro chatboty ani o plošný příkaz, aby každý vývojář nechal svůj model přezkoumat státem. Gavin Newsom 9. září podepsal SB 813 a AB 1405, které vytvářejí první kalifornský rámec pro registraci AI auditorů a pro organizace označované jako Independent Verification Organizations, tedy nezávislé ověřovací organizace.
Na první pohled to zní jako technická změna pro právníky a účetní. Ve skutečnosti jde o otázku, která bude s rozšiřováním AI stále důležitější: kdo ověří tvrzení firmy, že její systém je bezpečný, férový a pod kontrolou? A co se stane, když toho ověřovatele platí stejná firma, jejíž tvrzení má prověřit?
Rychlá zpráva na Radyzu shrnula podpis obou zákonů a podporu, kterou jim vyjádřily Anthropic a OpenAI. Dlouhý text je zajímavější hlavně kvůli tomu, co zákony skutečně dělají – a co naopak zatím nedělají.
Dvě normy, dvě různé úlohy
AB 1405 řeší samotné AI auditory. Government Operations Agency má nejpozději do 1. ledna 2029 vytvořit veřejný AI Auditor Registry, tedy registr, do kterého se budou moci zapisovat lidé, firmy, akademické instituce nebo jiné subjekty provádějící takzvaný covered AI audit. Od stejného data nebude možné takový audit v Kalifornii nabízet, prodávat ani provádět bez registrace.
Registr nemá být jen telefonní seznam. Auditor v něm musí uvést obchodní jméno a kontakty, kalifornské zákony nebo předpisy, podle kterých audity provádí, relevantní certifikace a popis svých služeb. Součástí přihlášky má být také standardní pracovní postup s odkazy na používané normy a s vysvětlením, na čem stojí tvrzení o přesnosti nebo spolehlivosti jeho metod.
Stát má každému registrovanému auditorovi přidělit vlastní číslo a zveřejnit registrační informace. Číslo se musí objevit také na reklamních materiálech, které auditní služby nabízejí. Zákon přitom výslovně říká, že registrace není doporučením ani potvrzením kvality ze strany Kalifornie. To je důležitá pojistka proti tomu, aby logo státu fungovalo jako certifikát bezpečného AI.
SB 813 jde o úroveň výš. Do 1. ledna 2028 má Government Operations Agency vytvořit pravidla pro označení organizace jako Independent Verification Organization. IVO má prokázat, že umí posoudit rizika AI systému nebo modelu a že dokáže vysvětlit metriky a metodiky, na jejichž základě k závěru došla.
Rozdíl je tedy přibližně takový: AB 1405 vytváří registr lidí a organizací, které chtějí nabízet zákonem vymezené audity. SB 813 staví užší vrstvu organizací, jimž stát přizná zvláštní označení IVO. Obě vrstvy se mohou překrývat, ale nejsou totožné.
Audit nemá být razítko, ale čitelný popis kontroly
Kalifornský zákon poměrně přesně popisuje, co má auditní zpráva obsahovat. Auditor má uvést rozsah a cíle kontroly, výsledky a podklady, z nichž vycházel, popis zjištěných nedostatků a případná technická, provozní nebo organizační opatření k jejich nápravě.
Ve zprávě má být také popsáno, zda kontrolovaný subjekt zavedl a dodržuje vlastní bezpečnostní standardy a protokoly. Neméně podstatná je povinná část o omezeních auditu – například co nebylo posouzeno a kde auditor neměl dostatek důkazů, informací, přístupu k systémům nebo potřebné dokumentace.
Právě poslední bod odděluje audit od marketingového prohlášení. Dobrá zpráva nemá pouze říct, že systém prošel. Má říct, co přesně bylo prověřeno, jakými metodami, s jakými podklady a kde kontrola končí. Auditor ji musí podepsat a opatřit datem. Dokumentaci potřebnou k doložení výsledků má registrovaný auditor uchovávat nejméně deset let.
To odpovídá logice, kterou používá i NIST AI Risk Management Framework: řízení rizik není jednorázový test, ale průběžná práce s kontextem, měřením, dohledem a odpovědností. Kalifornie z tohoto principu dělá institucionální proces, i když zatím nestanovuje jednu univerzální metriku bezpečnosti.
Kdo platí audit, ten nemusí určovat výsledek
Největší slabina každého externího auditu je zároveň jeho běžným obchodním modelem. Auditor dostane zaplaceno od firmy, kterou kontroluje. Samotná platba proto nemůže být důkazem podjatosti – stejně fungují finanční, bezpečnostní i certifikační audity. Rozhodující je, zda má auditor možnost říct nepříjemný výsledek bez toho, aby přišel o odměnu.
SB 813 proto dovoluje, aby IVO dostalo od kontrolované strany zaplaceno za rozumnou tržní cenu, zakazuje ale podmínit platbu výsledkem posouzení. AB 1405 zase zakazuje audit v situaci, kdy by finanční, obchodní, pracovní nebo jiný vztah mohl rozumně narušit nezávislost a objektivitu auditora.
Pravidla jdou ještě dál. Auditor nesmí hodnotit vlastní práci – například systém, proces nebo kontrolu, kterou pro klienta sám významně navrhl, vyvinul nebo provozoval. Člověk provádějící audit nesmí během kontroly u kontrolovaného subjektu vyjednávat o zaměstnání a auditor nesmí na stejný audit přidělit člověka, který v posledních dvanácti měsících u klienta nesl významnou odpovědnost za kontrolovanou oblast.
Je to rozumné minimum. Firma může současně prodávat implementaci bezpečnostních opatření a jejich nezávislé ověření, ale tyto dvě role by neměla bez dalších pojistek svěřit stejnému týmu. Jinak vzniká známý problém: člověk nejdřív navrhne řešení, potom sám sobě vystaví potvrzení, že řešení funguje.
AB 1405 chrání také zaměstnance auditora. Auditor nesmí bránit pracovníkovi v oznámení možného porušení pravidel kalifornskému generálnímu prokurátorovi, Labor Commissionerovi nebo přes mechanismus pro hlášení pochybení. Nesmí za takové oznámení ani retaliovat.
Státní označení IVO nebude automatická licence na pravdu
Organizace, která chce označení IVO, musí podle SB 813 doložit kvalifikaci, používané benchmarky, technologie, metriky a metodiky. Agentura má posuzovat technickou odbornost pracovníků, schopnost vyhodnocovat rizika i způsob, jakým organizace řídí střet zájmů a zdroje financování.
Pravidla mají vznikat ve spolupráci s auditory, akademiky, vývojáři a provozovateli AI, spotřebitelskými a občanskými organizacemi, úřady a standardizačními institucemi. Zákon výslovně počítá s pracovními skupinami, v nichž mají být také inženýři z konkurenčních AI firem a odborníci na bezpečnost AI.
To zní dobře, ale právě tady začne praktická část celé reformy. Není těžké napsat, že auditor musí být nezávislý. Těžší je změřit, zda jeho metoda skutečně zachytí rizika, která se projeví až v provozu, mimo testovací sadu nebo v kombinaci s dalšími nástroji.
IVO má každý rok, nejdříve dvanáct měsíců po prvním označení, odevzdat agentuře a zákonodárcům zprávu o svých standardech, metodikách, správě a zdrojích financování. Některé informace může kvůli obchodnímu tajemství, kyberbezpečnosti, veřejné bezpečnosti nebo národní bezpečnosti začernit. I tak ale musí popsat charakter a důvod začernění a neúplnou verzi uchovat pět let.
Co když si firma vybere auditora podle výsledku?
Tady se vracíme k titulní otázce. I velmi dobře napsaná pravidla mohou selhat, pokud se z auditu stane soutěž o nejpohodlnější výsledek. Vývojář pak nehledá tým, který nejlépe odhalí slabiny, ale tým, který použije mírnější metodiku, položí méně nepříjemných otázek a rychleji podepíše zprávu.
Registr tento problém sám nevyřeší. Veřejnost sice uvidí jméno auditora, jeho postup a certifikace, ale nemusí mít dost informací k porovnání dvou auditů. Jeden může testovat odolnost proti prompt injection, únikům dat a chybným nástrojovým voláním, zatímco jiný prověří především dokumentaci a proces schvalování. Oba pak mohou používat slovo bezpečnost, ale každý jím myslí něco jiného.
Proto bude důležité, zda stát později zajistí srovnatelný formát zpráv a minimální popis testovaných scénářů. Neznamená to, že každý audit musí vypadat stejně. Znamená to, že čtenář musí poznat rozdíl mezi skutečným technickým testem, kontrolou interního procesu a pouhým ověřením, zda firma vyplnila správné dokumenty.
Stejný problém známe i mimo AI. Certifikát může být pravý, audit může být proveden podle platné metodiky a přesto nemusí zachytit chybu, která nebyla v rozsahu kontroly. Kalifornský zákon proto správně uvádí, že provedení auditu podle určeného standardu není samo o sobě důkazem odpovědnosti ani bezchybnosti systému.
Kalifornie zatím nevytváří AI policii
Je snadné popsat nové zákony jako povinnou kontrolu všech modelů. To by ale bylo nepřesné. SB 813 výslovně neukládá firmám povinnost najmout IVO ani podstoupit covered AI audit jako podmínku pro vývoj, nasazení nebo provoz AI v Kalifornii. Zákon také nevytváří odpovědnost jen za to, že někdo nedodržel standard podle tohoto rámce.
Audit může být v případném sporu relevantní, ale není konečným verdiktem. Jinými slovy: firma nemůže říct, že za škodu nenese odpovědnost jen proto, že má podepsaný audit. Stejně tak poškozený nemůže automaticky předpokládat, že každý systém bez kalifornského auditu je nebezpečný.
Tento omezený rozsah je politicky průchodnější a technicky rozumnější. AI systémy se liší účelem, daty, mírou autonomie i cenou chyby. Metoda vhodná pro interní nástroj na třídění dokumentů nemusí dávat smysl u systému, který ovlivňuje přístup ke službě, rozhoduje o zaměstnancích nebo ovládá další software.
Zároveň ale dobrovolnost může znamenat, že se nejprve zapojí hlavně firmy, které chtějí důvěryhodnost pro zákazníky nebo investory. Subjekty s největšími riziky mohou audit odkládat, dokud jim ho nenařídí jiný zákon, smlouva nebo konkrétní incident. Registr proto bude užitečný, ale jeho dopad nebude možné měřit jen počtem zapsaných auditorů.
Proč se to týká i evropských firem
Kalifornie má v technologickém světě zvláštní postavení. Mnoho firem, které vyvíjejí nebo provozují AI, tam působí přímo nebo tam mají zákazníky. Jakmile vznikne veřejný registr, povinnosti kolem metodik a pravidla nezávislosti, mohou se podobné požadavky objevit ve smlouvách i mimo území státu.
Pro evropské firmy to neznamená, že budou automaticky podléhat kalifornskému registru. Může to ale změnit očekávání odběratelů. Zákazník nebude chtít slyšet jen to, že dodavatel používá známý model nebo že jeho systém prošel interním testem. Může chtít vědět, kdo kontrolu provedl, podle jaké normy, s jakým přístupem k datům a jaké byly limity.
Na Radyzu jsme podobný posun popisovali z jiné strany v článku o tom, kdo odpovídá za chyby AI agenta s přístupem k databázi. Pokud systém umí měnit kód, databáze nebo firemní procesy, nestačí měřit jen kvalitu jeho odpovědí. Je potřeba sledovat oprávnění, auditní stopu, možnost návratu změny a člověka, který ji schválil.
Stejnou logiku má i bezpečnostní debata kolem MCP serverů. Izolace, omezená práva a logování jsou důležité, ale žádná jednotlivá technická vrstva nenahradí celkový dohled nad tím, co systém smí dělat a kdo jeho chování vyhodnocuje.
První test přijde až po podpisu zákonů
Podpis zákona je v této oblasti začátek, ne konec. Teprve agentura musí převést obecné pojmy jako odbornost, nezávislost, vhodná metodika a střet zájmů do pravidel, podle kterých půjde organizace skutečně posuzovat. Pokud budou příliš vágní, vznikne registr s hezkými profily, ale bez srovnatelné hodnoty. Pokud budou příliš rigidní, malé odborné týmy se do něj nemusí dostat vůbec.
Pozornost si zaslouží i financování. AB 1405 vytváří zvláštní fond pro registrační poplatky, které nemají překročit přiměřené náklady správy systému. To je administrativní detail, který ale může rozhodnout o tom, zda registr zůstane rozumně dostupný, nebo se z něj stane klub velkých poradenských firem a účetních kanceláří.
Kalifornský model má jednu silnou myšlenku: bezpečnostní tvrzení nemá posuzovat pouze tým, který AI vytvořil. Má mít podobu kontrolovatelného procesu, se zveřejněnou metodikou, přiznanými omezeními a pravidly proti sebeauditování. To je lepší než další dobrovolný odznak na webu.
Zároveň by bylo naivní považovat registraci za důkaz, že AI je bezpečná. Dobrý auditor může odhalit problém. Nemůže ale ovlivnit, zda firma jeho doporučení opraví, zda se systém po aktualizaci nezmění a zda se riziko neobjeví v situaci, kterou nikdo netestoval.
Skutečná otázka proto nebude znít, jestli má auditor státní číslo. Bude znít: ukázal nám audit, co bylo opravdu prověřeno, co zůstalo mimo kontrolu a kdo ponese odpovědnost, když se realita od zprávy odchýlí? Teprve podle odpovědi na tuto otázku poznáme, zda Kalifornie vytvořila dohled, nebo jen další vrstvu papírů.
Podrobnosti o povinnostech IVO, registru, nezávislosti auditorů a výjimkách jsou v textu SB 813 a textu AB 1405. Kontext podpisu obou zákonů popisuje také Transparency Coalition.
