OpenAI na konci července rozpustila svůj tým Preparedness, který měl na starosti jednu z těch méně veselých částí vývoje umělé inteligence: zjišťovat, zda nové modely dokážou způsobit opravdu vážné problémy. Ne špatně napsaný e-mail nebo halucinující recept na svíčkovou, ale kybernetické útoky, biologická rizika, autonomní chování modelů a další scénáře, u kterých už začíná být slovo „bezpečnost“ poněkud méně marketingové.
Samotná práce přitom podle OpenAI nekončí. Jednotlivé oblasti Preparedness mají přejít pod jiné existující týmy a konkrétní lidé dostanou odpovědnost například za biologická nebo kybernetická rizika. Firma tedy může zcela oprávněně říkat, že žádné bezpečnostní aktivity neruší, pouze je integruje hlouběji do vývoje.
A technicky má pravdu.
Jenže právě technicky správné odpovědi bývají v korporátním světě často ty nejzajímavější.
Tým zmizel, framework zůstává
Preparedness nebyla nějaká několik let zapomenutá pracovní skupina, která jednou za čtvrt roku pořádala videohovor o bezpečnosti hesel. OpenAI ji na svých pracovních stránkách ještě popisovala jako klíčový bezpečnostní výzkumný tým zaměřený na hrozby, které by mohly dosáhnout extrémní úrovně závažnosti. Jeho úkolem bylo měřit nové schopnosti modelů, předvídat jejich další vývoj a připravovat ochranná opatření.
Samotný Preparedness Framework navíc nikam nezmizel. OpenAI jej v roce 2025 aktualizovala a ještě letos jej označovala za základ svého přístupu k nejvážnějším rizikům pokročilé AI. Stejný framework firma používá také při bezpečnostním hodnocení svých současných modelů.
To je důležitý rozdíl. Titulek „OpenAI zrušila bezpečnost“ by byl nesmysl.
Přesnější je říct, že OpenAI zrušila samostatnou organizační jednotku, která se na určitý druh extrémních rizik specializovala, a její práci rozdělila mezi ostatní části firmy. Podle Financial Times se to stalo na konci července. Vedoucí Preparedness Dylan Scandinaro se má nyní věnovat bezpečnostním důsledkům takzvaného recursive self-improvement, tedy systémům schopným přispívat k vytváření stále schopnějších AI systémů.
Na papíře to může být dokonce rozumnější struktura. Bezpečnost přece nemusí sedět v odděleném akváriu a jednou týdně vysvětlovat vývojářům, proč by tentokrát opravdu neměli připojit model s hackerskými schopnostmi rovnou k internetu.
Problém je kontext.
OpenAI už podobný film jednou hrála
V roce 2023 OpenAI s poměrně velkou pompou založila tým Superalignment. Firma tehdy napsala, že chce během čtyř let vyřešit jeden z vůbec nejtěžších problémů AI: jak kontrolovat systémy inteligentnější než člověk.
Nebyla to drobná iniciativa. OpenAI slíbila projektu přidělit 20 procent tehdy zajištěného výpočetního výkonu a vedením pověřila Ilju Sutskevera a Jana Leikeho.
O necelý rok později byl Superalignment pryč.
Jan Leike při svém odchodu veřejně kritizoval vývoj ve firmě a tvrdil, že bezpečnost podle jeho názoru ustoupila do pozadí ve prospěch atraktivnějších produktů. Financial Times tuto epizodu nyní připomínají právě v souvislosti s rozpadem Preparedness.
Od té doby následovaly další personální změny. V posledních měsících odešel šéf Safety Systems Johannes Heidecke, hlavní futurista a někdejší šéf mission alignment Joshua Achiam a v červenci také Chloé Bakalar, která v OpenAI vedla oblast etiky. Bakalar byla přitom jedinou dedikovanou etičkou firmy.
Každý jednotlivý odchod lze vysvětlit. Lidé mění zaměstnání, výzkumníci zakládají firmy, organizační struktury se přestavují a v Silicon Valley se schopní zaměstnanci mezi laboratořemi přesouvají skoro stejně rychle jako jejich modely mezi benchmarky.
Když ale během několika let vznikají bezpečnostní týmy s velkými prohlášeními, následně mizí a jejich vedoucí postupně odcházejí, začíná být legitimní ptát se, zda jde pořád jen o náhodnou sérii reorganizací.
A do toho přichází burza
Načasování je o to zajímavější, že OpenAI už IPO nejen zvažuje. Firma v červnu potvrdila, že americké SEC důvěrně podala návrh registračního dokumentu S-1, což je formální krok otevírající cestu ke vstupu na burzu. OpenAI zároveň zdůraznila, že zatím neurčila konkrétní termín a veřejné obchodování nemusí přijít okamžitě.
Podle Reuters Sam Altman zaměstnancům sdělil, že očekává vstup firmy na burzu během následujícího roku, byť se termín může změnit. Hovoří se přitom o valuaci až kolem jednoho bilionu dolarů.
A právě před takovou událostí se firma překvapivě začíná „zefektivňovat“.
Financial Times popisují letošní sérii reorganizací, odchodů vrcholových manažerů a tlak vedení na omezení různých vedlejších projektů ve prospěch ChatGPT a boje s Anthropicem o firemní zákazníky. OpenAI změny vysvětluje tím, že se pohybuje mimořádně rychle a nebojí se přestavovat vlastní strukturu.
To je pravděpodobně pravda.
Firma připravující se na jednu z největších technologických burzovních premiér historie potřebuje něco jiného než výzkumnou laboratoř roku 2018. Musí mít jasnou strukturu řízení, obchodní model, růst příjmů, produktovou strategii a především nějakou odpověď na nepříjemnou otázku, kdy se obrovské náklady na výpočetní infrastrukturu začnou měnit v ještě větší zisky.
Investoři totiž mají jednu zvláštní vlastnost. Jen velmi obtížně se do kvartální výsledovky zapisuje kolonka „katastrofám zabráněno: 3“.
Bezpečnost jako samostatný tým, nebo bezpečnost úplně všude?
Existuje přitom velmi rozumná obhajoba toho, co OpenAI dělá.
Pokud jsou modely stále schopnější, bezpečnost skutečně nemůže být činnost jednoho izolovaného oddělení. Kybernetické schopnosti musí řešit lidé zabývající se kybernetickou bezpečností, biologická rizika specialisté na biologii a ochranné mechanismy musí vznikat přímo současně s vývojem modelu.
Greg Brockman argumentuje právě tímto směrem. Podle něj si technický pokrok OpenAI vyžaduje robustnější ochranu a firma proto výzkum, bezpečnost a zabezpečení integruje hlouběji do samotného vývoje modelů.
To rozhodně není nesmyslný argument.
OpenAI současně dál publikuje systémové karty modelů, provozuje Preparedness Framework, využívá externí testování a veřejně popisuje bezpečnostní postupy. Její aktuální dokumenty stále počítají s vyhodnocováním závažných rizik před nasazením schopných modelů.
Bylo by tedy příliš jednoduché vyprávět příběh, ve kterém zlý Sam Altman jednoho rána přijde do kanceláře, vyhodí bezpečáky a na jejich místo postaví automat na bankovky.
Skutečný problém je jemnější.
Samostatný bezpečnostní tým má totiž jednu nepříjemnou vlastnost: je samostatný.
Může mít vlastní priority. Může požadovat další testování. Může říct, že produkt ještě není připravený. Může se dostat do konfliktu s vývojáři, obchodem nebo vedením firmy.
Když jeho povinnosti rozdělíš mezi produktové a výzkumné týmy, bezpečnost může být skutečně lépe integrovaná.
A také může mnohem snadněji prohrát pokaždé, když proti ní stojí termín vydání.
Která z těchto variant nastane v OpenAI, zatím jednoduše nevíme.
Největší paradox celé situace
Celé je to o něco absurdnější tím, že právě OpenAI patří mezi firmy, které už roky upozorňují na možnost extrémních rizik pokročilé AI.
Preparedness Framework nevznikl kvůli obavám, že ChatGPT někomu špatně poradí recept. OpenAI sama jej definovala jako systém pro sledování schopností, které mohou vést k závažným škodám. V minulosti mezi sledované oblasti patřily kybernetické útoky, biologická a další CBRN rizika, přesvědčování lidí a autonomie modelů.
A tyto debaty dnes rozhodně nejsou méně relevantní než před třemi lety.
Modely se mezitím dramaticky zlepšily v programování, práci s nástroji i autonomním řešení dlouhých úloh. OpenAI sama během interních bezpečnostních testů zkoumá jejich schopnosti v kybernetické oblasti a právě rostoucí možnosti modelů jsou důvodem, proč svůj Preparedness Framework dál používá.
Výsledkem je zvláštní situace.
Čím schopnější AI máme, tím více nám firmy vysvětlují, že potřebujeme sofistikovanější bezpečnost.
A současně čím většími firmami se z těchto laboratoří stávají, tím častěji jejich samostatné bezpečnostní struktury nějak záhadně nevydrží organizační reorganizaci.
OpenAI už není výzkumná laboratoř
Možná je ale nejjednodušší vysvětlení úplně jiné.
OpenAI se prostě změnila.
Firma, která ještě před několika lety působila především jako výzkumná organizace experimentující s cestou k AGI, dnes provozuje jeden z největších spotřebitelských softwarových produktů světa, prodává služby firmám, staví gigantickou infrastrukturu a připravuje se na veřejný kapitálový trh.
To nutně mění priority.
Nemusí to znamenat, že OpenAI přestala bezpečnost zajímat. Znamená to ale, že bezpečnost už není jedinou hodnotou, podle které se rozhoduje. Vedle ní stojí rychlost vývoje, konkurence, příjmy, zákazníci, náklady na infrastrukturu a očekávání investorů.
A právě proto má smysl sledovat reorganizaci Preparedness mnohem pozorněji než běžnou personální změnu.
Dokud byla bezpečnost samostatnou strukturou, bylo alespoň jasně vidět, kdo ji má na starosti.
Teď nám OpenAI říká, že je všude.
To může být známka dospělejšího řízení bezpečnosti.
Ale dějiny korporací znají i druhou možnost: když je za něco odpovědný každý, velmi snadno za to nakonec není odpovědný nikdo.
A jestli se OpenAI skutečně chystá stát firmou s hodnotou kolem bilionu dolarů a současně vyvíjet nejvýkonnější AI systémy na světě, byla by docela příjemná změna, kdybychom tentokrát nemuseli zjišťovat, která možnost byla správná, až zpětně.
