Když AI odmítne nebezpečný požadavek, snadno to vypadá jako vyřešený problém. Jenže odmítnutí je vlastnost konkrétního rozhraní a konkrétní verze modelu — ne slib, že odpověď nikdy nikdo nedostane. Případ čínského Kimi ukazuje, proč se spor o otevřené modely nedá odbýt ani sloganem „otevřenost je svoboda“, ani představou, že stačí přidat další filtr.
BBC 29. září informovala, že bezpečnostní firma Mindgard dokázala podle svých slov přimět modely Kimi K2.6 a K3 Swarm k odpovědím na témata biologických zbraní a atentátů. Mindgard uvedla, že na problém narazila už v červenci; Moonshot AI podle BBC oznámil interní prověřování a ocenil zpětnou vazbu od externích testerů. Zpráva ovšem nedokládá, že by někdo podle těchto odpovědí něco vyrobil nebo připravil útok.
Tohle rozlišení není kosmetická poznámka. Bezpečnostní test, který obejde ochranné chování modelu, je důkazem mezery v testovaném systému — ne důkazem, že model sám proměnil text v biologickou zbraň. Přesto jde o důležitý signál: pokud se ochrana opírá hlavně o to, že model v běžném chatu řekne „ne“, pak může být křehčí, než jeho tvůrci doufají.
Otevřené váhy mění, kdo drží vypínač
Kimi patří mezi takzvané open-weight modely. Výrobce zveřejní naučené váhy, tedy klíčovou část modelu, kterou si další lidé mohou stáhnout a provozovat ve vlastní infrastruktuře. Neznamená to automaticky, že je otevřený celý vývoj, tréninková data i každý kus kódu; a už vůbec ne, že jde o synonymum pro bezpečný nebo nebezpečný produkt.
Rozdíl oproti uzavřené službě je praktický. Provozovatel cloudového modelu může změnit filtr, pozastavit účet nebo nasadit opravu centrálně. Jakmile se ale váhy rozšíří mimo jeho servery, výrobce už nedokáže každou kopii sledovat, aktualizovat ani stáhnout z oběhu. Mezinárodní zpráva o bezpečnosti AI z roku 2025 popisuje právě tento kompromis: otevřený přístup pomáhá nezávislému výzkumu a odhalování chyb, zároveň ale ztěžuje dohled a plošnou nápravu.
To není argument pro zákaz open-weight modelů. Je to argument proti pohodlné představě, že výrobce může po vydání kdykoliv vrátit situaci do výchozího stavu. Nemůže. Stažené kopie zůstávají u svých provozovatelů, i když se původní autor rozhodne změnit politiku nebo vydá bezpečnější verzi.
Jeden úspěšný jailbreak ještě není katastrofa
Podle BBC Mindgard popsala složitý postup, při němž se testující snaží model přimět ignorovat běžné ochranné limity. Konkrétní návod BBC nezveřejnila a tento článek ho nereprodukuje. Důležitější než samotná technika je hranice důkazu: redakční zpráva popisuje test bezpečnostní firmy a reakci výrobce, nikoli nezávisle zopakovaný experiment s úplným zveřejněním metodiky.
Moonshot podle BBC uvedl, že modely v interních evaluacích obecně vykazovaly vysokou míru odmítání podobných požadavků, a zahájil interní prověřování. To není vyvrácení zjištění Mindgard, ale ani potvrzení, že se stejný výsledek zopakuje u každého uživatele a v každém prostředí. Opatrný závěr je už tak dost nepříjemný: běžné odmítnutí v interním testu samo o sobě neprokazuje odolnost vůči promyšleným pokusům o obejití.
Tahle událost navazuje na širší spor, který jsme na Radyz rozebírali u rychlého šíření otevřených vah na příkladu Qwenu. Čím snazší je model upravit a provozovat mimo původní službu, tím méně dává smysl slibovat, že bezpečnost bude zajištěna jedním centrálním filtrem.
Bezpečnost nekončí vydáním modelu
Tvůrci modelů by proto měli před zveřejněním vah zveřejňovat nejen seznam schopností, ale také srozumitelný popis bezpečnostních testů, jejich limitů a postupu pro hlášení zranitelností. Ne jako marketingovou kolonku „bezpečnost testována“, ale s dostatkem podrobností, aby nezávislí odborníci mohli posoudit, co se skutečně zkoušelo. Zároveň musí existovat způsob, jak opravu distribuovat a vysvětlit, které starší verze jí stále nejsou chráněné.
Ani to však neudělá z otevřeného modelu dálkově vypínatelnou službu. Hostovací platformy mohou odstranit soubory ze svých katalogů, ale kopie už stažené na vlastních počítačích tím nezmizí. Odpovědnost se proto rozděluje: vývojář odpovídá za testy a jasné informace, hostitel za pravidla distribuce a provozovatel za to, jak model nasadí a k čemu mu dá přístup.
Zpráva o obejití pojistek Kimi není důkazem, že open-weight AI nevyhnutelně skončí ve špatných rukou. Je ale připomínkou, že ochrana zabudovaná do modelu není trvalá záruka — zvlášť když se model přesune z kontrolovaného cloudu do prostředí, které jeho tvůrce neřídí. Svoboda stáhnout a upravit model má skutečnou hodnotu. Jen je fér přiznat i její cenu: po zveřejnění vah už nikdo nemá tlačítko, kterým by je spolehlivě vzal zpět.
