Nová zpráva Anthropicu otevřela nepříjemnou otázku: co se stane, když se jazykové modely dostanou k lidem, kteří se ptají na biologii s úmyslem obejít bezpečnostní pravidla? Firma popsala pět případů, v nichž se vědci pokoušeli využít Claude při výzkumu patogenů s možným škodlivým účelem. Kritici ale upozorňují, že mezi podrobnou odpovědí chatbotu a skutečným biologickým útokem stále leží laboratoř, materiály, zkušenosti a řada dalších překážek.
Report není důkazem, že chatbot sám vytvoří biologickou zbraň
Anthropic konkrétní země ani osoby v popisu neidentifikoval. Zpráva proto není nezávislým vyšetřováním pěti konkrétních operací, ale popisem případů, které firma vyhodnotila jako dostatečně závažné. Časopis Science upozornil, že experti se přou, zda jde o varování před novou bezpečnostní hrozbou, nebo o přeceňování toho, co dnešní chatboty skutečně dokážou.
Tohle rozlišení je důležité. Jazykový model může zrychlit hledání informací, překládat odborné texty, pomáhat s orientací v literatuře nebo upozornit na souvislosti, které by člověk hledal déle. To však samo o sobě neznamená, že umí spolehlivě navrhnout celý experiment, odhalit všechny chyby a nahradit práci odborníků. Odpověď může být přesvědčivá a zároveň špatná.
Riziko není jen v tom, co model ví
Debata se často točí kolem otázky, zda model dokáže odpovědět na konkrétní nebezpečný dotaz. Praktičtější otázka zní, jak moc snižuje čas a úsilí potřebné k tomu, aby se člověk v problému zorientoval. I neúplná odpověď může být užitečná někomu, kdo už má odborné znalosti a potřebuje rychle projít velké množství materiálu.
Anthropic sám uvádí, že biologická rizika patří mezi oblasti, které musí vývojáři aktivně vyhodnocovat a omezovat. International AI Safety Report zároveň shrnuje, že pokrok v některých vědeckých a biologických úlohách může snižovat informační bariéry, ale úspěšný vývoj biologické zbraně stále vyžaduje významné znalosti, materiály a fyzickou práci. Obě věci mohou platit současně.
U běžné služby existuje ještě jedna vrstva ochrany
Když člověk používá model přes cloudovou službu, nejde jen o samotnou neuronovou síť. Provozovatel může kombinovat odmítnutí odpovědi, detekci podezřelých dotazů, omezení účtu, dodatečné prověřování a v některých případech předání informací bezpečnostním týmům nebo úřadům. Tyto mechanismy nejsou dokonalé a lze je obcházet, ale vytvářejí alespoň nějaké místo, kde lze zneužití sledovat a reagovat na něj.
Co se mění u otevřených vah bez ochranných zábran
U takzvaných open-weight modelů si uživatel stáhne parametry modelu a může je provozovat mimo infrastrukturu původního vývojáře. Výraz „uncensored“ není přesná technická kategorie. V praxi se jím často označují modely, u nichž někdo odstranil nebo obešel část odmítacích mechanismů a dodatečných bezpečnostních vrstev.
To mění hlavně kontrolu nad použitím. Provozovatel původní služby už nemusí vidět dotaz, nemůže zablokovat účet a nemůže stáhnout všechny kopie modelu z internetu. International AI Safety Report upozorňuje, že po zveřejnění vah nelze spolehlivě provést hromadné stažení všech existujících kopií ani zajistit, aby všechny dostaly bezpečnostní aktualizace. Případy služeb, které nabízejí modely s odstraněnými ochrannými mechanismy, proto nejsou jen debatou o stylu odpovědí. Jde o změnu distribučního a kontrolního modelu.
Jaké hrozby mohou vzniknout
Následující scénáře nejsou tvrzením, že se všechny už staly. Jsou to důsledky, které dávají smysl sledovat, pokud se schopný model provozuje bez odmítání, monitoringu a odpovědného provozovatele:
- Odpadá první filtr. Model může bez varování rozebírat i dotazy, které by cloudová služba odmítla nebo předala k prověření. To neznamená, že každá odpověď bude správná, ale uživatel dostane více pokusů a méně signálů, že se pohybuje v nebezpečné oblasti.
- Zneužití se hůř odhaluje. Lokální provoz bez připojení k poskytovateli může obejít detekci vzorců, omezení účtu i zpětnou vazbu bezpečnostních týmů. Pro výzkumníka je to výhoda soukromí, pro vyšetřování zneužití zásadní nevýhoda.
- Schopnost se může šířit dál. Upravený model lze kopírovat, dále dolaďovat a zapojit do vlastních nástrojů. Jakmile vznikne více variant, není jasné, kdo za ně odpovídá a kde lze problém zastavit.
- Chyba může vypadat jako odborná rada. Odblokovaný model nemusí být chytřejší. Může jen ochotněji odpovídat, vymýšlet si detaily a působit sebejistěji. U biologických témat je právě kombinace sebejistoty a nepřesnosti nebezpečná.
- Dotazy lze skládat do řetězce. Člověk nemusí hledat jednu dokonalou odpověď. Může si nechat postupně třídit literaturu, porovnávat hypotézy a opravovat předchozí výstupy pomocí více lokálních modelů. Každý jednotlivý krok může vypadat neškodně, zatímco celek zvyšuje praktickou použitelnost informací.
Otevřené váhy nejsou automaticky katastrofa
Bylo by ale chybou zaměnit otevřený model za hotovou biologickou laboratoř. Otevřené váhy mohou pomáhat s výzkumem bezpečnosti, s kontrolou chování modelů i s vývojem obranných nástrojů. Výhoda transparentnosti a možnosti nezávislého testování je reálná. Problém začíná ve chvíli, kdy se stejná otevřenost spojí s odstraněnými zábranami, širokou dostupností a provozem bez jakékoli odpovědnosti.
Největší riziko proto nemusí představovat jeden geniální model, který všechno vyřeší za uživatele. Mnohem pravděpodobnější je postupné zlevňování a zrychlování dílčích kroků: hledání informací, orientace v odborném jazyce, porovnávání možností a automatizace opakované práce. Každý krok sám o sobě může být omezený. V kombinaci ale snižuje množství času a znalostí, které musí člověk investovat.
Kdo má nést odpovědnost?
U cloudové služby lze ukázat na firmu, která model provozuje, zaznamenává zneužití a může zasáhnout. U lokálně spuštěného a upraveného modelu se odpovědnost rozpadá mezi autora původních vah, člověka, který odstranil ochrany, provozovatele rozhraní a samotného uživatele. Právě proto nestačí řešit jen to, zda je model „otevřený“ nebo „uzavřený“. Důležité je, jaké má schopnosti, jak snadno se dá upravit, kdo k němu má přístup a zda existuje možnost reagovat na incident.
Bezpečnější přístup neznamená zakázat každý model, který umí pracovat s biologií. Znamená testovat nebezpečné schopnosti před zveřejněním, omezit přístup k rizikovým variantám, oddělit výzkumné prostředí od volného internetu, používat lidskou kontrolu a mít připravený plán pro případ zneužití. U lokálních instalací je to těžší, protože část kontroly se přesouvá z výrobce na každého, kdo model stáhne a provozuje.
Nejistota není důvod pro klid ani paniku
Anthropic má samozřejmě vlastní zájem na tom, aby se o bezpečnostních rizicích mluvilo. To neznamená, že jeho popis lze automaticky přijmout jako nestranný důkaz. Zároveň ale není rozumné čekat na první jednoznačně potvrzený útok, než začneme řešit modely, které lze provozovat bez monitoringu a bez možnosti stažení.
Rozumný závěr je méně pohodlný než jednoduché „AI všechno zvládne“ nebo „AI je jen autocomplete“. Model sám biologickou zbraň nevyrobí. Může ale zmenšit některé informační bariéry a otevřený, odblokovaný model může odstranit část kontrol, které u běžné služby alespoň vytvářejí stopu a možnost zásahu. Právě tato kombinace stojí za pozornost dřív, než se z hypotetického problému stane praktický incident.
